您的位置: 首页  >  文章  >  hadoop入门之hdfs操作（二）

hadoop入门之hdfs操作（二）

分类: 文章 • 2023-11-22 22:25:28

标签（空格分隔）： hadoop

概述

上一节我们已经搭建了集群，那么这节我们从google的三架马车中的GFS，文件存储系统hdfs操作开始学习。

1.环境搭建

window环境搭建

1.1.HADOOP_HOME配置流程

首先我们在windows操作需要有window操作的hadoop相关操作的一些本地native库，所以需要配置HADOOP_HOME
hadoop window编译类库可于此找对应的版本之后做HADOOP_HOME环境配置。
有条件可以自己编译，但是window的编译还挺麻烦的
我的电脑->右键->属性->高级系统设置->高级->环境变量
跟JAVA_HOME的环境配置一致 需要添加HADOOP_HOME并且在path上增加 HADOOP_HOME/bin

1.2hosts配置

C:\Windows\System32\drivers\etc\hosts
添加相应的域名映射 自己做好ip与域名的映射

192.168.52.131 hadoop1
192.168.52.132 hadoop2
192.168.52.133 hadoop3
192.168.52.134 hadoop4

2.javaclient操作

maven的相关包

    <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop-core-version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop-core-version}</version>
        </dependency>
        
    或者
       <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop-core-version}</version>
        </dependency>
        可以看到hadoop-client中有依赖了common和hdfs包

2.1 获取FileSystem的三个静态方法

hadoop入门之hdfs操作（二）
hadoop入门之hdfs操作（二） 默认是操作本地文件的

2.2 具体类

测试类

public class HdfsOperate {
private FileSystem fs;
@Before
public void beforeInit() throws Exception{
    Configuration conf = new Configuration();
    conf.set("fs.defaultFS","hdfs://hadoop1:9000");//可不配置默认操作本地的
    fs =  FileSystem.get(new URI("hdfs://hadoop1:9000"),conf,"hadoop");
}
//上传测试
@Test
public void testCopyFromLocalFile() throws IOException {
    fs.copyFromLocalFile(new Path("E:\\hadooptest\\files\\a.txt"),new Path("/"));
    fs.close();
}
//下载测试
@Test
public void testDownLoad() throws IOException {
    fs.copyToLocalFile(new Path("/a.txt"),new Path("d:/"));
    fs.close();
}
}

hdfs的操作以FileSystem为操作入口类，Configuration为配置类
hadoop入门之hdfs操作（二）
fs的操作主要包括拷贝，上传，下载，添加到某个文件，获取文件夹下的文件列表等操作，详细操作可自己参照具体的api。

流操作

由于配合mr的执行，所以hdfs提供了流操作，流操作以Inputsteam，OutputStream的形式，提供seek跳转到某个文件的位置，所以在mr读取数据操作的时候比较方便，流操作api后续补上主要是open，seek，create这几个方法。

3.shell操作

hadoop fs
hadoop入门之hdfs操作（二）
比如： hadoop fs -cat /a.txt 查看根路径下的a.txt文件内容
这里的操作其实跟linux相关操作差不多，只是多了几个从hdfs和本地交互的相关命令行

4界面访问

dfs.namenode.http-address 在hdfs-size.xml中可配置该参数，实行界面访问
，默认就是端口号50070 通过界面我们可以查看datanode的存活状态，还有就是文件访问，可简单查看刚刚上传的文件。

相关推荐