window10+VMware+ubuntu上搭建Hadoop(伪分布式配置)的命令语句及部分解决办法(参考书目:林子雨大数据教辅)
hadoop搭建
1、更新apt(建议使用阿里云)
https://blog.****.net/qq_34271119/article/details/78411498
其中sudo apt-get install无法获得锁问题时 sudo rm /var/lib/apt/lists/lock)
2、安装SSH
sudo apt-get install openssh-server
ssh localhost
exit退出
cd ~/.ssh/
ssh-****** -t rsa
cat ./id_rsa.pub>>./authorized_keys
3、安装Java
第一种方式(未成功)
sudo apt-get install openjdk-7-jre openjdk-7-jdk
(出现错误https://askubuntu.com/questions/763494/trying-to-install-openjdk-package-openjdk-7-jre-has-no-installation-candidate
其中sudo apt-get install无法获得锁问题时 sudo rm /var/lib/apt/lists/lock)
4、第二种方式
sudo apt-get install default-jre default-jdk
vim ~/.bashrc(a编辑 esc退出编辑 :wq保存并退出)
在文件最上面编辑内容:export JAVA_HOME=/usr/lib/jvm/default-java
source ~/.bashrc
echo $JAVA_HOME(查看Java地址)
java -version(Java版本信息)
$JAVA_HOME/bin/java -version(和java -version输出同样的信息)
hadoop
sudo tar -zxf /home/hadoop/下载/hadoop-2.7.7.tar.gz -C /usr/local
cd /usr/local/
sudo mv ./hadoop-2.7.7/ ./hadoop
sudo chown -R hadoop ./hadoop
cd /usr/local/hadoop
./bin/hadoop version
5、单机模式配置(略)
6、伪分布式配置
vim /usr/local/hadoop/etc/hadoop/core-site.xml (配置core文件)
vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml(配置hdfs文件)
dfs.replication 1 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data7、执行名称节点格式化
cd /usr/local/hadoop
./bin/hdfs namenode -format
出现Exiting with status 0表示格式化成功
8、启动hadoop
cd /usr/local/hadoop
./sbin/start-dfs.sh
jps判断是否启动成功
则表示启动成功
使用web界面查看HDFS信息
http://localhost:50070
9、运行Hadoop伪分布式实例
cd /usr/local/hadoop
./bin/hdfs dfs -mkdir -p /user/hadoop
cd /usr/local/hadoop
./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input
./bin/hdfs dfs -ls input
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output ‘dfs[a-z.]+’
./bin/hdfs dfs -cat output/*
10、关闭Hadoop
cd /usr/local/hadoop
./sbin/stop-dfs.sh