搭建Hadoop单机伪分布式环境
搭建Hadoop单机伪分布式环境
本次试用的是ubuntu 16.04作为系统环境
使用的是VMware Workstation 12作为虚拟机
本次不介绍CentOS和RedHat搭建Hadoop单机伪分布式环境
hadoop使用的Hadoop 2.6.4
好的，现在开始我们的hadoop搭建环境之旅！！！
第一步：
打开ubuntu终端 如果没有hadoop用户，我们创建一个hadoop用户
使用命令 sudo useradd -m hadoop-s /bin/bash
这里稍微回顾一下：
用户与组
用户：多用户
用户和组 实现资源分配的核心要素
组是一组容器 可以添加用户 也可以添加权限
用户类型：
管理员 0
系统用户：1--499
运行后台的程序（daemon）
普通用户：500+
登录：交互式访问
组类别：
管理员组：0
系统组：1-499
用户组：500+
Linux:
/etc/passwd ：用户的账号信息
/etc/shadow ：用户的密码与相关账户设定
/etc/group :组的账号的信息
/etc/gshaow:组的密码信息
执行完创建用户后 使用sudo cat /etc/group
使用sudo passwd hadoop 为hadoop设置密码
Sudo adduser hadoop sudo 为 hadoop 用户增加管理员权限
最后使用reboot命令重启ubuntu 然后使用hadoop用户登录
第二步：
Hadoop用户登录后更新update 不然有些软件使用不了
本人使用的是us的镜像源，有的时候更新比较慢，或者你们的hash有问题，说明软件源找不到资源，你们可以更改软件源 建议使用163的。
对于更改软件源，我就不说了，自行解决。
然后安装vim的文本编辑器 文本编辑器有很多种 nano vi vim(vi的增强版) gedit(图形化界面，建议对于vi或者vim不是很熟悉的使用，但是以后还是要学会vi或者vim的，道理都懂的)。对于刚刚接触linux的我本次使用的gedit，因为后面修改xml配置文件和修改.sh脚本文件方便，加快效率，防止出错。
对于系统有了nano vi 安装vim就是
因为我已经装了，所以出现以上画面，没有装的应该是有y/n的选项 直接输入y就可以了。
第三步：
安装ssh 能够实现远程控制
Ubuntu默认装了ssh client 然后我们可以直接安装服务器
命令为：
我的已经安装完毕，出现以上的画面
其中远程控制工具有很多中 Xshell secureCRT
我输入ifconfig 查看ip
我使用Xshell5连接ubuntu
第四步：
安装java jdk jre
安装好 OpenJDK 后，需要找到相应的安装路径，这个路径是用于配置 JAVA_HOME 环境变量的。
使用sudo gedit ~/.bashrc 编辑，建立环境变量。
export JAVA_HOME=JDK安装路径
其中，然后必须使用source ~/.bashrc 命令使变量生效。
最后使用上述命令检验我们安装的java环境变量是否有效。如果有效，我们继续下一步。否则，请配置好java的环境。不然，无法进行下一步。
第五步：
安装hadoop
我使用的是hadoop-2.6.4.tar.gz
我放在桌面上。我是从window下好的，然后拖进ubuntu的，这个功能的实现，必须开机然后重新安装vmware tools才能使用 (可以建立一个共享的文件夹可以使用ftp文件传送等等多种方式)
我建议直接在ubuntu中联网下载，然后在下载中找到那个文件。测试能否连接外网，使用ping www.baidu.com 等方式。
然后，接下来安装hadoop ,我的安装包放在Desktop,建议安装在于与java一样的环境,我的是在/usr/local
修改权限
Sudo chown -R hadoop ./hadoop
使用以下的命令检验hadoop的版本
一下稍微写了一下有关权限的介绍：
Chown：改变文件属主 只有管理员才有这个权限
Chown USERNAMEfile,... -R 递归修改目录及其子文件的内部的文件的属主
--reference =/path/to/somefile file,...
#chgrp GRPNAMEfile... -R --reference=/path/to/somefile file,...
Chown USERNAME:GROUP file....
Chown USERANME.GROUP file....
Chmod :修改用户的权限
修改三类用户的权限
Chmod more file....
-R
--reference =/path/to/somefile file,...
Rwxr-x---
修改某些用户或者某些类用户的权限
U g o a
Chmod 用户类型 =MORE file....
修改某类的用户某位或者某些位权限
U g o a
Chmod 用户类型 +(-)MORE file....
第六步：
Hadoop默认为非分布式的，即java单进程。接下来，我们进行伪分布式的配置
Hadoop 的配置文件位于/usr/local/hadoop/etc/hadoop/ 然后我们进入配置文件，进行修改，需要修改的是core-site.xml和hdfs-site.xml 使用sudo gedit./etc/hadoop/core-site.xml
修改的core-site.xml文件为下面的截图：
同理：修改hdfs-site.xml的截图如下：
第七步：开启hadoop
./bin/hdfs namenode -format 格式化namenode 记得必须在你安装的hadoop下的bin中使用
途中的0表示你已经成功了很多了，来继续我们的下面的操作。我们已经快要成功了，走起！！！ 如果出错，然后查看有什么错误。
./sbin/start-dfs.sh 开启 NameNode 和 DataNode 守护进程。第一次，会出现警告，yes即可。
Jps查看是否打开成功。
可能失败的话，删除 log tmp 使用rm -r ./删除的文件 格式
第八步：成功启动后，可以访问 Web 界面 查看相关信息
红色的使用你的ip地址 然后端口号为50070查看信息
这样已经成功了。哈哈，哈哈，爽吧！！！
第九步：
添加path路径：
因为上述操作都要到安装好了的hadoop下操作，比较麻烦，我们使用path环境变量，使我们在任意的目录可以，开启我们的服务。
修改~/.bashrc文件 与修改JAVA_HOME设置类似
，亲，最后记得操作source ~/.bashrc 使设置生效。