安装Hadoop

作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223

一. 安装Linux，MySql

  1. 安装Oracle VM VirtualBox虚拟机，创建并配置Ubuntu(64 bit) ,安装配置参考http://dblab.xmu.edu.cn/blog/337-2/

 

  2.安装Linux系统（Ubuntu）

   2.1 点击安装Ubuntu Kylin

 

  2.2 设置用户名、密码

  2.3 正在安装

 2.4 安装成功

 2.5 重启登录

 3.安装MySql

  3.1 更新软件源

  3.2 安装MySQL

 

  3.3 设置MySQL密码

 

   3.4 授权认证

 

 3.5 MySQL是否启动成功，LISTEN状态表示成功启动

 3.6 进入MySQL Shell界面

 3.7 显示数据库

 

 3.8 打开库，显示库中的表

 

 3.9 修改查看数据库的编码（vim编辑器或gedit文本编辑器添加行character_set_server=utf8）

 

 

二. windows 与 虚拟机互传文件

  1.安装VirtualBox增强功能包(VBoxGuestAdditions)，通过验证

 

2.点击运行后，系统会自动安装，安装完成后要求重启系统

3.设置共享文件夹，我选择本机位置 D:\Ubuntu\share

4.完成共享文件夹的设置后，实现共享

 

三. 安装Hadoop

  1. 创建Hadoop用户

    1.1 创建Hadoop用户、设置密码并为Hadoop用户添加管理员权限

     1.2  切换至Hadoop登录

   1.3 登录后更新apt

 

  1.4 将Hadoop安装到/usr/local/, （sudo tar -zxf  /mnt/bdshare/hadoop-2.7.1.tar.gz  -C /usr/local）,

   并改名为hadoop（sudo mv hadoop-2.7.1 hadoop）

  1.5 修改文件夹权限

 1.6 检查是否hadoop是否可用

 2. SSH登录权限设置

   2.1 安装SSH，Ubuntu默认已经安装SSH client，需要另外安装SSH server

 

   2.2 安装后可用ssh localhost命令登录，但需要密码

 

   2.3 设置SSH无**登录

 

   2.4 SSH无**设置完成

  3. 安装Java环境

   3.1 安装jdk

 

   3.2 修改~/.bashrc文件，添加行export JAVA_HOME=/usr/lib/jvm/default-java

   3.3 使环境变量生效，检验变量值，Java环境安装成功

  4. 单机Hadoop安装配置

   4.1运行grep例子

 

   4.2 程序执行成功输出信息和程序执行结果

 

  5. 伪分布式Hadoop安装配置

   5.1 修改配置文件 core-site.xml 

 

   5.2 修改配置文件 hdfs-site.xml 

   5.3 文件配置完成后，执行NameNode格式化

 

   5.4 成功会有以下提示

 

   5.5 开启NameNode和DataNode的守护进程，若出现SSH提示，输入yes即可

   5.6 通过jps命令来判断是否启动成功（若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”）

 

   5.7 运行Hadoop伪分布式实例

 

 

   5.8查看结果

 

   5.9 将结果取回本地

   5.10 关闭Hadoop，再次启动Hadoop时，无需再对NameNode进行初始化，只要运行 ./sbin/start-dfs.sh

开启 NameNode 和 DataNode 守护进程即可