产生的原因:抛出java.lang.ClassNotFoundException:org.apache.hadoop.hbase.HBaseConfiguration
问题描述:
我试图创建一个的HBase表(在指定集群上),我尝试下面的代码:产生的原因:抛出java.lang.ClassNotFoundException:org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.client.{HTable, Put, HBaseAdmin}
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hadoop.hbase.{HBaseConfiguration, HTableDescriptor, HColumnDescriptor}
object ImportData {
var cf = "d"
def createTable (TableName : String, NameSpace : String , reset : Boolean): HTable = {
// initialize configuration and admin
val Hbaseconfig = HBaseConfiguration.create()
val hbaseAdmin = new HBaseAdmin (Hbaseconfig)
// check if table exsit)
if (!hbaseAdmin.isTableAvailable(NameSpace + ":" + TableName) || (reset)) {
if (hbaseAdmin.isTableAvailable(NameSpace + ":" + TableName) && (reset)) { //force delete table
hbaseAdmin.disableTable(NameSpace + ":" + TableName)
hbaseAdmin.deleteTable(NameSpace + ":" + TableName)
}
val tableDesc = new HTableDescriptor ((NameSpace + ":" + TableName).getBytes())
val tableFamily = new HColumnDescriptor(cf)
// Adding column families to table descriptor
tableDesc.addFamily(tableFamily)
// create table
hbaseAdmin.createTable(tableDesc)
}
Hbaseconfig.set(TableInputFormat.INPUT_TABLE, NameSpace + ":" + TableName)
val Table = new HTable(Hbaseconfig, NameSpace + ":" + TableName)
println (">>> Table " + Table + "created on Hbase")
return Table
}
// put data in table
def writetotable(table : HTable, columnname : List[String],value : List[String]){
val Lsize = columnname.size-1
var p = new Put(Bytes.toBytes("row1"));
for (i <- 0 to Lsize){
p.add(Bytes.toBytes(cf), Bytes.toBytes(columnname(i)),Bytes.toBytes(value(i)));
}
table.put (p);
table.close()
}
}
我与HUE服务器上运行的火花,但我有如下因素的错误:
17/10/10 12:04:34 ERROR ApplicationMaster: User class threw exception: java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
**java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration**
at com.renault.fic_histo.parsing.ImportData$.createTable(ImportData.scala:13)
at com.renault.fic_histo.parsing.Global_Main.save_fic_histo(Global_Main.scala:32)
at com.renault.fic_histo.parsing.Global_Main$.main(Global_Main.scala:47)
at com.renault.fic_histo.parsing.Global_Main.main(Global_Main.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:497)
at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:559)
**Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration**
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
我读,我有与下面的代码hadoop-env.sh文件添加到HBase的类路径:
$ export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.94.22.jar:\
$HBASE_HOME/hbase-0.94.22-test.jar:\
$HBASE_HOME/conf:\
${HBASE_HOME}/lib/zookeeper-3.4.5.jar:\
${HBASE_HOME}/lib/protobuf-java-2.4.0a.jar:\
${HBASE_HOME}/lib/guava-11.0.2.jar
这是我的问题: 1.我没有在本地运行它,所以我无法更改此配置。我能做些什么来解决这个问题?
2.我应该在我的代码中连接或指定hbase群集吗?有人能给我一个很好的教程来启动它吗?
谢谢
答
的hbase-common.jar
包含类定义为org.apache.hadoop.hbase.HBaseConfiguration
。因此,您需要在HADOOP_CLASSPATH
中包含hbase-common.jar
。
答
@Shubhangi
谢谢你,我使用的是Maven的项目,我添加下面的依赖关系:
<!-- Hbase common -->
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-common</artifactId>
<version>${hbase.version}</version>
</dependency>
与<hbase.version>1.1.2.2.5.3.0-37</hbase.version>
, 我运行我用色相接口上的罐子火花的工作,所以我不能更改HADOOP_CLASSPATH
。
这种依赖性是不够的?