Hadoop--hdfs测试&mapreduce测试

hdfs web界面

ip:50070

HDFS命令

hadoop fs -help
-ls
-mkdir
-put
例：hadoop fs -put ~/fcc_test.txt hdfs://hadoop0:9000/fcc_test_dir
-get
[email protected]:~$ hadoop fs -get hdfs://hadoop0:9000/fcc_test_dir/fcc_test.txt
-rm
hadoop fs -rm /fcc_test_dir/fcc_test.txt

mapreduce

跑一下mapreduce的例子程序
1.求pi

2.wordcount
运行
hadoop jar ./hadoop-mapreduce-examples-2.9.2.jar wordcount /fcc_test_dir/fcc_test.txt /fcc_test_dir/output
查看结果

HDFS的实现机制

1.hdfs通过分布式集群来存储文件，为客户端提供一个便捷的访问方式，一个虚拟的目录结构
2.文件存储到hdfs集群中去的时候是被切分成block的
3.文件的block存放在若干datanode上
4.hdfs文件系统中的文件与真实的block之间有映射关系，由namenode 管理
5.每个block在集群中会存储多个副本，提高数据可靠性，提高访问的吞吐量