我如何建立一个针对HDP 2.6.1.0堆栈的应用程序

问题描述：

我想构建一个运行sqoop作业的Java应用程序，执行一些hdfs操作并更改配置单元中的元数据。我如何建立一个针对HDP 2.6.1.0堆栈的应用程序

为了实现这一切，我创建了一个maven项目，但是我一直遇到依赖项问题。

有人可以给我一个例子pom.xml，所以我可以开始写我的应用程序？
谢谢！

答

<repository> 
<releases> 
    <enabled>true</enabled> 
</releases> 
<snapshots> 
    <enabled>true</enabled> 
</snapshots> 
<id>hortonworks.extrepo</id> 
<name>Hortonworks HDP</name> 
<url>http://repo.hortonworks.com/content/repositories/releases</url> 
</repository> 

<repository> 
<releases> 
    <enabled>true</enabled> 
</releases> 
<snapshots> 
    <enabled>true</enabled> 
</snapshots> 
<id>hortonworks.other</id> 
<name>Hortonworks Other Dependencies</name> 
<url>http://repo.hortonworks.com/content/groups/public</url> 
</repository>

添加<dependency>部分例如，hadoop-common:2.7.3.2.5.0-37这里就是Hadoop的版本+ HDP版本

哪些依赖我需要例如用于读取和写入文件到HDFS ？我有问题，包括hadoop核心。版本库中没有版本2.7.3.2.5.0-37。我应该使用哪些现有的？ – Joha

你可以使用hadoop-common，但也有hadoop-client和hadoop-hdfs。另外，由于您使用的是2.6群集，因此无论如何都不会使用2.5版本。 –

您可以直接浏览该URL以查找版本http://repo.hortonworks.com/content/groups/public/org/apache/hadoop的/ Hadoop的公共/ –

我如何建立一个针对HDP 2.6.1.0堆栈的应用程序

相关推荐