HDFS编程实践
一.启动HDFS
首先进入虚拟机终端,首次启动Hadoop需要通过hdfs namenode -format语句格式化文件系统,然后启动Hadoop。具体过程如图一。
图一
cd hadoop-2.7.7:进入Hadoop根目录。
ls:查看Hadoop根目录下文件。
./sbin/start-dfs.sh:启动HDFS。
图一为成功启动后结果。
二.HDFS常用命令
进行HDFS文件系统最基本的操作如图2、图3:
hadoop fs -mkdir /test:在根目录下建立test目录文件。
hadoop fs -ls /:查看根目录,检查test 目录文件是否成功建立。
hadoop fs -mkdir /test1:建立test1目录文件。
hadoop fs ls /:查看test1目录文件是否成功建立。
图二
其中查看根目录显示出不同组别用户文件操作权限,第一位表示文件类型。d是目录文件,l是链接文件,-是普通文件,p是管道;第2-4位表示这个文件属主拥有权限,r是读,w是写,x是执行;第5-7位表示和这个文件属主所在同一个组的用户所具有的权限;第8-10位表示其他用户所具有的权限。因此test,test1文件是目录文件,属组为hadoop,未被硬链接,存放路径为根目录。
查询hdfs位置:
图三
Hadoop fs -copyFromLocal /home/hadoop/%E4%B8%8B%E8%BD%BD/yuanyuan.jpeg /test:从本地文件复制到hadoop下test目录下。
Hadoop fs -ls /test:查看本地文件是否被复制,结果如图四。
图四
hadoop fs -cat /test/yuanyuan.jepg:将文件内容输出到屏幕上,由于test下文件为图片显示为乱码。
图五
查看安全模式
Hadoop的安全模式(NN启动时,先将fsimage载入内存,并执行edits中的各项编辑操作,一旦成功建立文件系统元数据的映像,则创建新的fsimage和空的edits此过程称为安全模式)。
hdfs dfsadmin -safemode get:查看namenode是否处于安全模式。
hdfs dfsadmin -safemode enter:进入安全模式。
hdfs dfsadmin -safemode wait:退出安全模式。
图六