hadoop实战-03.ubuntu 14.0 安装hadoop 1.0.2
到官网下载 hadoop 1.0.2 ,解压放到想要的目录下:我这里是放在/home/vinking 下面
#sudo tar xzfv hadoop-1.0.2.tar.gz
将解压的文件名改成hadoop 比较容易记 /home/vinking/hadoop
1.配置 hadoop-env.sh(Java 安装路径)
#cd /home/vinking/hadoop
#sudo vi conf/hadoop-env.sh
打开文件 按i进入编辑模式,插入下面几行
export JAVA_HOME=/usr/lib/jvm/jdk (这个有点问题,后面运行的时候有做修改)
export HADOOP_INSTALL=/home/vinking/hadoop ( 这里用的HADOOP_INSTALL,而不是HADOOP_HOME,网上找到的说法是:因为在新版中后者已经不用了。若用,会有警告)
export PATH=$PATH:/home/vinking/hadoop/bin
按esc,shift+:,接着按x (这里说明一下因为本人不懂vi的用法,还特意问了同事怎么使用,感觉有点难用)
结果如下图
#source /home/vinking/hadoop/conf/hadoop-env.sh
提示出错,应该是我的JAVA_HOME设置出问题,在 /usr/lib/jvm/jdk 里面其实并没有bin这个文件夹
之前在hadoop-env.sh里面我的设置是这样的 JAVA_HOME=/usr/lib/jvm/jdk,应该是有问题。
找同事帮忙啦,然后发现 系统自动创建了一个 /usr/bin/java
我设置的是在 /usr/lib/jvm/jdk 但其实是在 /usr/lib/jvm/jdk/jdk1.6.0_30/bin,就是多了几层的目录
同事的建议是 将 /usr/bin/java 作为 /usr/lib/jvm/jdk/jdk1.6.0_30/bin的快捷方式,这样查找设置都比较方便,其实下面这个命令我真的看不懂。
然后重新配置 hadoop-env.sh 里面的 JAVA_HOME ,export JAVA_HOME=/usr
#hadoop version
哈哈,终于安装成功,其实整个过程还是有很多linux的问题,自己无法查找和解决问题,需要继续学习。
上面这个是单机模式
2.试运行:(下面这个例子是网上找的啦)
现在运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:
在hadoop目录下新建input文件夹
#mkdir input
将conf中的所有文件拷贝到input文件夹中
#cp conf/* input
运行WordCount程序,并将结果保存到output中
#bin/hadoop jar hadoop-examples-1.0.2.jar wordcount input output
会看到conf所有文件的单词和频数都被统计出来。
#cat output/*
上面运行WordCount这个功能的时候,开始的时候也是出错了,也是删除文件夹重新运行整个过程,可能在某些地方出现问题。
上面的安装过程 我自己折腾了很久,最主要的原因还是linux不熟悉,要继续学习啊。