hadoop初次使用问题及解决
1.java.net.unknownhostexception:invalid host name:localhost is (unknown)…
解决:
修改hdfs-site.xml、mapred-site.xml、yarn-site.xml,将这些文件中的master改成主机的地址,就是 /etc/hosts 里面的地址,我的是第二个
2.jps出来缺少datanode
正常jps出来应该有6个,如果缺少了datanode或namenode,到 hadoop/tmp/dfs 中,删掉name 和 data两个文件夹,然后重新启动就可。
导致这个问题的原因是在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。
--------------------- 自 GXU-数据与网络实验室 的**** 博客 ,全文地址请点击:https://blog.****.net/u012500868/article/details/78164572?utm_source=copy
3.Name node is in safe mode
报错为:org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode
字面意思,hadoop处在安全模式。
在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。
如果不相等,只要在Hadoop的目录下输入:
bin/hadoop dfsadmin -safemode leave
--------------------------------------------------来自:hongweigg:Hadoop 解除 “Name node is in safe mode”
https://blog.****.net/hongweigg/article/details/7185328