window10+VMware+ubuntu上搭建Hadoop(伪分布式配置)的命令语句及部分解决办法(参考书目:林子雨大数据教辅)

hadoop搭建

1、更新apt(建议使用阿里云)
https://blog.****.net/qq_34271119/article/details/78411498
其中sudo apt-get install无法获得锁问题时 sudo rm /var/lib/apt/lists/lock)

2、安装SSH
sudo apt-get install openssh-server
ssh localhost
exit退出
cd ~/.ssh/
ssh-****** -t rsa
cat ./id_rsa.pub>>./authorized_keys

3、安装Java
第一种方式(未成功)
sudo apt-get install openjdk-7-jre openjdk-7-jdk
(出现错误https://askubuntu.com/questions/763494/trying-to-install-openjdk-package-openjdk-7-jre-has-no-installation-candidate
其中sudo apt-get install无法获得锁问题时 sudo rm /var/lib/apt/lists/lock)

4、第二种方式
sudo apt-get install default-jre default-jdk

vim ~/.bashrc(a编辑 esc退出编辑 :wq保存并退出)

在文件最上面编辑内容:export JAVA_HOME=/usr/lib/jvm/default-java

source ~/.bashrc

echo $JAVA_HOME(查看Java地址)

java -version(Java版本信息)

$JAVA_HOME/bin/java -version(和java -version输出同样的信息)

hadoop
sudo tar -zxf /home/hadoop/下载/hadoop-2.7.7.tar.gz -C /usr/local

cd /usr/local/

sudo mv ./hadoop-2.7.7/ ./hadoop

sudo chown -R hadoop ./hadoop

cd /usr/local/hadoop

./bin/hadoop version
window10+VMware+ubuntu上搭建Hadoop(伪分布式配置)的命令语句及部分解决办法(参考书目:林子雨大数据教辅)

5、单机模式配置(略)

6、伪分布式配置
vim /usr/local/hadoop/etc/hadoop/core-site.xml (配置core文件)

hadoop.tmp.dir file:/usr/local/hadoop/tmp Abase for other temporary directories. fs.defaultFS hdfs://localhost:9000

vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml(配置hdfs文件)

dfs.replication 1 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data

7、执行名称节点格式化

cd /usr/local/hadoop
./bin/hdfs namenode -format

出现Exiting with status 0表示格式化成功

8、启动hadoop

cd /usr/local/hadoop
./sbin/start-dfs.sh

jps判断是否启动成功
window10+VMware+ubuntu上搭建Hadoop(伪分布式配置)的命令语句及部分解决办法(参考书目:林子雨大数据教辅)
则表示启动成功

使用web界面查看HDFS信息
http://localhost:50070
window10+VMware+ubuntu上搭建Hadoop(伪分布式配置)的命令语句及部分解决办法(参考书目:林子雨大数据教辅)

9、运行Hadoop伪分布式实例
cd /usr/local/hadoop
./bin/hdfs dfs -mkdir -p /user/hadoop

cd /usr/local/hadoop
./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input

./bin/hdfs dfs -ls input

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output ‘dfs[a-z.]+’

./bin/hdfs dfs -cat output/*
window10+VMware+ubuntu上搭建Hadoop(伪分布式配置)的命令语句及部分解决办法(参考书目:林子雨大数据教辅)

10、关闭Hadoop
cd /usr/local/hadoop
./sbin/stop-dfs.sh
window10+VMware+ubuntu上搭建Hadoop(伪分布式配置)的命令语句及部分解决办法(参考书目:林子雨大数据教辅)