Hadoop分布式集群安装问题解决:linux下scp把master配置好的hadoop文件传到slave节点报Permission denied错误的解决(实测有效)

1.ssh配置完成后,scp 文件 到 Slave1:/usr/local/hadoop,结果出现Permission denied,出现这种情况是hadoop用户没有该目录的权限.
自己的解决办法:
master:
进入移动文件的上一层目录中:
如:/usr/local/hadoop/hadoop-2.7.1(本人文件位置)
cd /usr/local/hadoop
sudo chmod 777 hadoop-2.7.1
slave:
进入放置文件的目录下:
如:/usr/lcoal/hadoop
cd /usr/local
sudo chmod 777 hadoop
在master:
scp -r 文件完整目录 从节点:从节点安装目录
如:scp -r /usr/local/hadoop/hadoop-2.7.1 [email protected]:/usr/local/hadoop

2.hadoop启动sbin/start-all.sh,slave节点没有datanode的问题
启动master节点:start-all.sh
如果安装没问题jsp进程后出现:
master有四个进程:Jps、NameNode、ResourceManager、SecondaryNameNode
Hadoop分布式集群安装问题解决:linux下scp把master配置好的hadoop文件传到slave节点报Permission denied错误的解决(实测有效)
slave节点进程有:Jps、DataNode、NodeManager
但是我的所有slave节点都没有DataNode:
Hadoop分布式集群安装问题解决:linux下scp把master配置好的hadoop文件传到slave节点报Permission denied错误的解决(实测有效)
正常情况应该还有一个DataNode进程,但是此处没有启动,这种情况分为两种原因,一种是第一次格式化后第一次启动,slave1和slave2上没有DataNode进程,另一种已经启动过一次或者多次重新格式化后在slave1和slave2上没有DataNode进程,下面分两种情况分析:
解决方法1.
sudo vim /usr/hadoop-2.7.7/etc/hadoop/hdfs-site.xml
Hadoop分布式集群安装问题解决:linux下scp把master配置好的hadoop文件传到slave节点报Permission denied错误的解决(实测有效)
更改为:
Hadoop分布式集群安装问题解决:linux下scp把master配置好的hadoop文件传到slave节点报Permission denied错误的解决(实测有效)
(2)在其他slave上也是同样的修改,保存退出。

(3)在master节点上在次启动hadoop即可,如下图所示:
Hadoop分布式集群安装问题解决:linux下scp把master配置好的hadoop文件传到slave节点报Permission denied错误的解决(实测有效)
Hadoop分布式集群安装问题解决:linux下scp把master配置好的hadoop文件传到slave节点报Permission denied错误的解决(实测有效)
Hadoop分布式集群安装问题解决:linux下scp把master配置好的hadoop文件传到slave节点报Permission denied错误的解决(实测有效)

原文链接:https://blog.csdn.net/sunxiaoju/article/details/85222290