大数据实战 Linux Uduntu 20.04.1 搭建MapReduce平台
1.目标
1.1 在图形窗口运行
1.2 完成Eclipse及插件安装
1.3 JDK安装
2.前期准备
2.1 装系统
2.2 节点创建用户
2.2.1 创建组
（可以在bass普通用户下操作，可以在root用户下操作。若在bass需要提高权限sudo，root用户则不用。）
$ sudo useradd -u 285 -g 285 -m -s /bin/bash angel
用户号为285，用户组号为285，用户名为angel。
2.2.2 设置angel用户组及其密码
sudo gpasswd -a angel sudo
将angel用户添加到sudo组。
sudo passwd angel
密码为123
2.2.3 切换angel用户
su - angel
密码：123
到此，angel用户创建成功。
2.3.Java安装
2.3.1 节点建立app目录并修改/app文件属性
3.1.1 建立app目录
在angel用户下建立
sudo mkdir /app
3.1.2 修改/app文件属性
sudo chown -R angel:angel /app
2.3.2 所有节点编辑jdk环境变量
vi /home/angel/.profile
在最后添加2行
2.3.3 所有节点jdk环境变量生效
source /home/angel/.profile
2.3.4 上传jdk并将jdk压缩到angel用户下
用winscp工具，用root用户登录
2.3.5 将jdk压缩包解压放在/app目录下
cd /app
tar xzvf /home/angel/jdk-8u261-linux-x64.tar.gz -C /app
2.3.6 测试
java -version
javac -version
到此，Java安装成功。
3 启动Hadoop集群
3.1 启动 dfs
start-dfs.sh
3.2 启动yarn
start-yarn.sh
3.3 启动JobHistoryServer
mr-jobhistory-daemon.sh start historyserver
3.4 查看进程
3.4.1 master节点
jps
3.4.2 slave1，slave2节点
jps
到此，Hadoop集群开启成功！
4 上传Eclipse
4.1 利用Winscp上传eclipse到/root目录下
eclipse-java-oxygen-3-linux-gtk-x86_64.tar.gz
4.2 将eclipse解压到/app目录下
cd /app
tar xvzf /root/eclipse-java-oxygen-3-linux-gtk-x86_64.tar.gz
5 上传hadoop-eclipse-plugin
5.1 利用Winscp将hadoop-eclipse-plugin-2.6.0.jar放到/app/eclipse/plugins/目录下
5.2 检查是否上传成功
cd /app/eclipse/plugins/
ll hadoop*
到此hadoop上传成功！
6 下载hadoop-2.8.5
从master节点下载hadoop-2.8.5到desktop节点上的/app目录下
scp -r [email protected]:/app/hadoop-2.8.5 /app
因为master与desktop没有ssh协议，所以需要输入密码
在终端，检查有没有下载成功。
到此，hadoop-2.8.5 下载成功。
7 修改文件属性
chown -R eclipse/ hadoop-2.8.5/ jdk1.8.0_261/
检查是否修改成功
cd /home/angel/app
ll
到此文件属性修改成功！
8 启动eclipse
条件：必须在桌面端启动；必须用angel用户进入；必须重启；必须启动hadoop集群。
若无法用angel用户进入，点击下方链接，解决此问题。
解决方法
点击Launch。
在eclipse窗口中打开Windows-Preferences，窗口左侧有“Hadoop Map/Reduce”选项，表示安装成功！
在eclipse窗口界面打开“File”-“New”-“Project”，有“Map/Reduce Project”选项，表示安装成功，到此，MapReduce平台搭建成功！