4 weekend110的hdfs&mapreduce测试 + hdfs的实现机制初始 + hdfs的shell操作 + 无密登陆配置...

　不多说，直接上干货！

 

　

 

 

 

Hdfs是根/目录，windows是每一个盘符

 

1  从Linux里传一个到，hdfs里去

 

 

 

 

 

2  从hdfs里下一个到，linux里去

想从hdfs里，下载到linux，

涨知识，记住，hdfs是建立在linux上，

现在，hdfs里还有jdk-7u65-linux-i586.tar.gz，好，linux里，没有了jdk-7u65-linux-i586.tar.gz。

 

在抽象的hdfs文件系统里，存在datanode那个机器的抽象的hdfs文件系统里，

其实，刚下载，是从datanode文件夹里，下载，通过http协议，下载得到，

 

 

http://192.168.1.101:50070 （HDFS管理界面）

http://192.168.1.101:8088 （MR管理界面）

 

mr程序，打成jar包，自带的，都在share里，

 

关于common、hdfs、mapreduce、yarn的例子程序，都在这里。

 

 

 

hdfs的实现机制初始

说明，hadoop的身份验证，是比较弱的，

方便，查看，清理大文件，跟windows里，一样

　　　　　　非常不灵活，在生产，一般用API去操作。

 

 

 

 

无密码登陆配置

 

 

 

 

SSH除了密码机制，还有秘钥机制。

　　成功实现，无密码登陆设置！！！

 

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5893174.html，如需转载请自行联系原作者