Hadoop shell 一查就会
Hadoop shell 命令有三种格式
- hdfs + dfs (必须是dfs)
- Hadoop + dfs
- Hadoop + df
| 命令 | 说明 |
|---|---|
| hadoop 版本查看 | hadoop version |
| hadoop 显示命令信息 | hadoop dfs |
| 列出 HDFS 目录 | Hadoop fs -ls / |
| 递归列出 / 下的所有目录（包括子目录） | Hadoop fs -lsr / |
| hdfs 查看文件内容 | hdfs dfs -cat /output/part-00000 |
| hdfs 查看文件内容，并进行分页显示 | hdfs dfs -cat /output/part-00000 | more |
| hdfs 查看文件内容 | hdfs dfs -text /output/part-00000 |
| Hdfs 查看指定文件大小 | hdfs dfs -du /output/part-00000 |
| 将 HDFS 上的文件复制到本地 | hdfs dfs -get /output/part-00000 /usr/local/load.txt |
| 将 HDFS 上的文件复制到本地（二） | hdfs dfs -copyToLocal /output/part-00000 /usr/local/load.txt |
| 在 HDFS 上创建文件目录 | hadoop fs -mkdir /data |
| 在 HDFS 上一次性创建多级目录 | hadoop fs -mkdir -p /data/child1/child2 |
| 复制本地文件或HDFS文件到HDFS 指定路径 | hadoop fs -put /usr/local/load.txt /data/ |
| 复制本地文件到HDFS 指定路径，更严格（二） | hadoop fs -copyFromLocal /usr/local/load.txt /data/ |
| 移除HDFS 指定目录文件 | hadoop fs -rm |
| 移除HDFS 指定目录文件和其子目录 | hadoop fs -rmr |
| 将文件尾部1K字节的内容输出 | hdfs dfs -tail /data/load.txt |
更详细的 shell 说明请点击查看，可以在集群浏览器中输入 http://yarn00:50070 浏览和操作HDFS的目录和文件。
路径浏览
对应 http://yarn00:50070 中的界面如下：