HDFS客户端操作1 开发环境准备

更多整理都在我的github上：Auraros欢迎大家。

HDFS客户端操作，首先需要配置好发开环境，在这里做客户端idea连接hadoop

具体步骤

• 将下载的hadoop-2.6.0.rar压缩包解压

• 增加系统变量HADOOP_HOME，变量值为hadoop-2.6.0.rar压缩包解压所在的目录

  

• 在系统变量中对变量名为PATH的系统变量追加变量值，变量值为 %HADOOP_HOME%/bin

• 解压下载的winutils，找到对应或邻近版本的Hadoop，进入其bin目录，将其中的hadoop.dll和winutils.exe拷贝到C:\Windows\System32目录

• 依次点击“File”→“Settings”，在弹出的页面左侧依次点击“Build, Execution, Deployment”→“Build Tools”→“Maven”，勾选User Settings File和Local repository的Override选项

  

• 将下载的settings.xml文件拷贝到C:\Users\Lenovo.m2（每个人根据上图方框内的路径查找是否有该文件，若有，则覆盖原文件，若无，则直接拷贝到该目录）目录，可将IDEA中maven修改为阿里镜像

• 打开IDEA，依次点击“File”→“New”→“Project”，点击左侧Maven，勾选上方“Create from archetype”，在下方列表中选择org.apache.maven.archetypes:maven-archetype-quickstart，点击“Next”

• GroupId和ArtifactId自行填写，填写完毕后点击“Next”

• 勾选User Settings File和Local repository的Override选项，更改Local repository为其他路径，建议该路径有较大容量，点击“Next”

• 填写项目名，选择项目存储路径，点击“Finish”

• 此时，一些Maven工程会被加载到项目中，若左侧Project框内无src文件夹，等待Maven工程下载完毕
  下载中

  

下载完毕

• 在Project框中src/main目录中新建目录resources

• 将远程集群的Hadoop安装目录下hadoop/hadoop-2.7.7/etc/hadoop目录下的core-site.xml、hdfs-site.xml两个文件通过Xftp等SFTP文件传输软件将两个文件复制，并移动到上述src/main/resources目录中（拖拽即可），然后将下载的log4j.properties文件移动到src/main/resources目录中（防止不输出日志文件）

• 使用下载的pom.xml文件覆盖项目本身的pom.xml文件（直接拖拽即可），该文件中的一些版本号（比如JDK、Hadoop等）修改为自己电脑中对应的版本（不修改似乎也可正常运行）

• IDEA右下角会弹出更新确认框，点击Import Changes

• 等待更新完成即可，更新时，IDEA底部会出现“n processes running”，点击即可弹出更新进度

  

• 配置完成