Ubuntu14.04下TensorFlowOnSpark搭建流程

TensorFlowOnSpark搭建

系统：Ubuntu14.04 64bit

参考文档：

http://blog.****.net/fishseeker/article/details/61918138?utm_source=tuicool&utm_medium=referral

一、    cuda-8.0安装

1、下载：https://developer.nvidia.com/cuda-downloads

2、把安装包移到需要安装的目录下

sudo dpkg –i cuda-repo-ubuntu1404-8-0-local-ga2_8.0.61-1_amd64.deb

sudo apt-get update

sudo apt-get install cuda

经常遇到报libcheese的错误，这个没有固定的解决方法，最好的办法，换外网、换源、重启、多试几次然后就能成功了。。。

3、添加环境变量

        sudo gedit /etc/profile

    在末尾添加（注意自己的Cuda版本）：

        export PATH=/usr/local/cuda/bin:$PATH

        export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

        source /etc/profile

    重启生效

        sudo reboot

    4、cudnn-5.1安装

    可以从英伟达官网下载

    解压下载好的文件，一般在文件所在的目录会出现一个cuda的新文件夹

    tar -xzvf cudnn-7.5-linux-x64-v3.0-rc.tgz

        cd cudnn/lib64/

        sudo cp lib* /usr/local/cuda/lib64/

        cd ..

        cd include

        sudo cp cudnn.h /usr/local/cuda/include

二、    TensorFlow安装

1、安装pip

sudoapt-get install Python-pip python-dev python-setuptools build-essential

sudo pip install --upgrade pip

sudo pip install --upgrade virtualenv

检测pip是否安装

pip–version

2、TensorFlow

sudo pip install –upgrade https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow_gpu-*.*.***-cp27-none-linux_x86_64.whl

*号为要装的版本

三、    HADOOP安装

1、安装SSH、配置SSH无密码登陆

sudo apt-get install openssh-server

安装后，可以使用如下命令登陆本机

ssh localhost

此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码hadoop，这样就登陆到本机了。SSH首次登陆提示：

但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。

首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-****** 生成**，并将**加入到授权中：

exit                           # 退出刚才的ssh localhost

cd~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost

ssh-****** -t rsa              # 会有提示，都按回车就可以

cat./id_rsa.pub >> ./authorized_keys # 加入授权

2、安装Java环境

这边直接通过命令安装 OpenJDK 7

sudo apt-get install openjdk-7-jre openjdk-7-jdk

安装好OpenJDK 后，需要找到相应的安装路径，这个路径是用于配置 JAVA_HOME 环境变量的。执行如下命令：

dpkg -L openjdk-7-jdk | grep '/bin/javac'

该命令会输出一个路径，除去路径末尾的 “/bin/javac”，剩下的就是正确的路径了。如输出路径为/usr/lib/jvm/java-7-openjdk-amd64/bin/javac，则我们需要的路径为 /usr/lib/jvm/java-7-openjdk-amd64

接着配置JAVA_HOME 环境变量

gedit /etc/profile

在文件最前面添加如下单独一行（注意 = 号前后不能有空格），将“JDK安装路径”改为上述命令得到的路径，并保存：

export JAVA_HOME=JDK安装路径

接着还需要让该环境变量生效，执行如下代码：

source /etc/profile

设置好后我们来检验一下是否设置正确：

    echo $JAVA_HOME     # 检验变量值

    java -version

    $JAVA_HOME/bin/java -version 

如果设置正确的话，$JAVA_HOME/bin/java -version 会输出 java 的版本信息，且和 java -version 的输出结果一样

3、Hadoop安装

在hadoop官网下载http://hadoop.apache.org/releases.html

选2.6的binary

验证下载文件

    cat ~/下载/hadoop-2.6.0.tar.gz.mds |grep 'MD5' # 列出md5检验值

md5sum ~/下载/hadoop-2.6.0.tar.gz | tr "a-z""A-Z" # 计算md5值，并转化为大写，方便比较

    若文件不完整则这两个值一般差别很大，可以简单对比下前几个字符跟后几个字符是否相等即可，如下图所示，如果两个值不一样，请务必重新下载

    将Hadoop 安装至 /usr/local/ 中：

    sudotar -zxf /下载的目录/hadoop-*.*.*.tar.gz -C /usr/local    # 解压到/usr/local中

   cd /usr/local/

   sudo mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoop

sudo chown-R hadoop ./hadoop       # 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

cd /usr/local/Hadoop

./bin/hadoop version

4、Hadoop单机配置(非分布式)

Hadoop 默认模式为非分布式模式，无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。

现在我们可以执行例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子（运行 ./bin/hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 可以看到所有例子），包括 wordcount、terasort、join、grep 等。

在此我们选择运行 grep 例子，我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。

    cd /usr/local/hadoop

    mkdir ./input

    cp ./etc/hadoop/*.xml ./input   # 将配置文件作为输入文件

    ./bin/Hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output'dfs[a-z.]+'

cat ./output/*          # 查看运行结果

    执行成功后如下所示，输出了作业的相关信息，输出的结果是符合正则的单词 dfsadmin 出现了1次

注意，Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 ./output 删除。

        rm -r./output

5、Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和value 的方式来实现。

修改配置文件 core-site.xml (通过 gedit 编辑会比较方便: gedit ./etc/hadoop/core-site.xml)，将当中的

      <configuration>

</configuration>

修改为下面配置：

    <configuration>

           <property>

                <name>hadoop.tmp.dir</name>

                <value>file:/usr/local/hadoop/tmp</value>

                <description>Abase for other temporarydirectories.</description>

           </property>

           <property>

                <name>fs.defaultFS</name>

                <value>hdfs://localhost:9000</value>

           </property>

</configuration>

    同样的，修改配置文件 hdfs-site.xml：

           <configuration>

            <property>

                <name>dfs.replication</name>

                 <value>1</value>

            </property>

            <property>

                <name>dfs.namenode.name.dir</name>

                 <value>file:/usr/local/hadoop/tmp/dfs/name</value>

            </property>

            <property>

                <name>dfs.datanode.data.dir</name>

                <value>file:/usr/local/hadoop/tmp/dfs/data</value>

            </property>

    </configuration>

   Hadoop配置文件说明

Hadoop 的运行方式是由配置文件决定的（运行 Hadoop 时会读取配置文件），因此如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。

此外，伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（官方教程如此），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为/tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。

    配置完成后，执行 NameNode 的格式化:

       ./bin/hdfsnamenode –format

    成功的话，会看到 “successfully formatted” 和 “Exitting withstatus 0” 的提示，若为 “Exitting with status 1” 则是出错。

    如果在这一步时提示 Error: JAVA_HOME is not set and could not be found. 的错误，则说明之前设置 JAVA_HOME 环境变量那边就没设置好，请按教程先设置好 JAVA_HOME 变量，否则后面的过程都是进行不下去的。

 

接着开启NameNode 和 DataNode 守护进程。

       ./sbin/start-dfs.sh

    若出现如下SSH提示，输入yes即可。

    这里可能会出现JAVA_HOME is not set and could not be found的错误

解决办法：修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh中的JAVA-HOME，使用绝对路径。

   启动 Hadoop 时提示 Could not resolve hostname

如果启动Hadoop 时遇到输出非常多“ssh: Could not resolve hostname xxx”的异常情况，如下图所示：

动Hadoop时的异常提示启动Hadoop时的异常提示

这个并不是ssh 的问题，可通过设置 Hadoop 环境变量来解决。首先按键盘的 ctrl + c 中断启动，然后在 ~/.bashrc 中，增加如下两行内容（设置过程与 JAVA_HOME 变量一样，其中 HADOOP_HOME 为 Hadoop 的安装目录）：

      exportHADOOP_HOME=/usr/local/hadoop

      export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

保存后，务必执行 source ~/.bashrc 使变量设置生效，然后再次执行./sbin/start-dfs.sh 启动 Hadoop。

启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”（如果 SecondaryNameNode 没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试）。如果没有NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。

若是DataNode 没有启动，可尝试如下的方法（注意这会删除 HDFS 中原有的所有数据，如果原有的数据很重要请不要这样做）：

./sbin/stop-dfs.sh   # 关闭

rm -r ./tmp     # 删除tmp 文件，注意这会删除 HDFS 中原有的所有数据

./bin/hdfs namenode -format   # 重新格式化NameNode

./sbin/start-dfs.sh  # 重启

    成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

  注意：

1、spark从master发送命令的时候好像是按照路径寻找文件，因此你一定一定要把集群上所有的计算机的用户名都配置成一样的，比如我的都叫ubuntu，而文中的都叫hadoop，这里你要注意，如果你不跟着教程也叫hadoop的话，注意识别里面有一些命令或者路径你是不能直接复制的，而是把里面的hadoop改成你的用户名，比如在伪分布式配置core-site.xml的时候里面路径，你要改成你的实际路径才可以。

2、在分布式下，可能会出现这种很奇怪的情况：Live nodes只有一个（应该有俩），而且你每次刷新竟然都不一样。这样的解决方法是修改hdfs-site.xml，讲data.dir改成不一样的就可以了。

3、集群管理器如果是新手的话建议直接使用standalone模式，也就是spark自带的集群管理器，这就意味着上边那个教程里的“启动yarn”这一节你就完全可以跳过了。

四、    Spark安装

1、Scala安装

下载：http://www.scala-lang.org/download/

安装Scala最好选择一个2.10.X，这样对spark支持比较好

将压缩包移动到/usr/local上并解压

配置环境变量/usr/profile，加入

    export PATH=$PATH: /usr/local/share/scala/bin

保存后，source/usr/profile更新环境变量

执行scala，测试安装是否成功。

2、Spark安装

解压到你想安装的目录

sudo tar -zxf ~/下载/spark-1.6.0-bin-without-hadoop.tgz –C /usr/local/

cd /usr/local

sudo mv ./spark-1.6.0-bin-without-hadoop/ ./spark

sudo chown -R hadoop:hadoop ./spark         # 此处的 hadoop 为你的用户名

    之后很重点的一步是修改spark-env.sh的内容

       cd/usr/local/spark

cp ./conf/spark-env.sh.template ./conf/spark-env.sh

gedit conf/spark-enf.sh

    在最后添加

       exportSPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

    保存

3、运行Spark实例

注意，必须安装 Hadoop 才能使用 Spark，但如果使用 Spark 过程中没用到 HDFS，不启动 Hadoop 也是可以的。此外，接下来教程中出现的命令、目录，若无说明，则一般以Spark 的安装目录（/usr/local/spark）为当前路径，请注意区分。

在./examples/src/main 目录下有一些 Spark 的示例程序，有 Scala、Java、Python、R 等语言的版本。我们可以先运行一个示例程序 SparkPi（即计算 π 的近似值），执行如下命令：

    cd /usr/local/spark

./bin/run-example SparkPi

    执行时会输出非常多的运行信息，输出结果不容易找到，可以通过 grep 命令进行过滤（命令中的 2>&1 可以将所有的信息都输出到 stdout 中，否则由于输出日志的性质，还是会输出到屏幕中）：

    ./bin/run-exampleSparkPi 2>&1 | grep "Pi is roughly"

    过滤后的运行结果得到 π 的 5 位小数近似值

五、    TensorflowOnSpark

官方文档：

https://github.com/yahoo/TensorFlowOnSpark/wiki/GetStarted_standalone

1、TensorFlowOnSpark下载

git clone--recurse-submodules https://github.com/yahoo/TensorFlowOnSpark.git

cd TensorFlowOnSpark

git submodule init

git submodule update --force

git submodule foreach --recursive git clean -dfx

 

cd TensorFlowOnSpark

export TFoS_HOME=$(pwd)

pushd src

zip -r ../tfspark.zip * 

popd

2、测试TensorFlow

# download MNIST files, if not already done

mkdir ${TFoS_HOME}/mnist

pushd ${TFoS_HOME}/mnist

curl -O"http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz"

curl -O"http://yann.lecun.com/exdb/mnist/train-labels-idx1-ubyte.gz"

curl -O "http://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz"

curl -O"http://yann.lecun.com/exdb/mnist/t10k-labels-idx1-ubyte.gz"

popd

   

       python${TFoS_HOME}/tensorflow/tensorflow/examples/tutorials/mnist/mnist_with_summaries.py--data_dir ${TFoS_HOME}/mnist

    由于TensorFlow版本问题，mnist_with_summaries.py第122行，(y, y_)改成(logits=y,labels=y_)，153和155行的filewriter函数改为tf.summary.FileWriter。

    开始训练了，就说明没问题

3、开启Spark集群

启动主节点

${SPARK_HOME}/sbin/start-master.sh

配置节点

exportMASTER=spark://$(hostname):7077

exportSPARK_WORKER_INSTANCES=2

exportCORES_PER_WORKER=1

exportTOTAL_CORES=$((${CORES_PER_WORKER}*${SPARK_WORKER_INSTANCES}))

启动分节点

${SPARK_HOME}/sbin/start-slave.sh-c $CORES_PER_WORKER -m 3G ${MASTER}

4、转换mnist文件

cd${TFoS_HOME}

rm -rfexamples/mnist/csv

${SPARK_HOME}/bin/spark-submit\

--master${MASTER} \

${TFoS_HOME}/examples/mnist/mnist_data_setup.py\

--outputexamples/mnist/csv \

--formatcsv

ls-lR examples/mnist/csv #这一句找不到文件，不影响下一步，还未找到解决方法

    注意：spark文件夹的权限，特别是spark目录下的work文件夹

    这个代码运行了之后去50070端口的hdfs查看你的文件就有了

5、训练用刚才那个转换的数据进行训练模型

${SPARK_HOME}/bin/spark-submit\

--master${MASTER} \

--py-files${TFoS_HOME}/tfspark.zip,${TFoS_HOME}/examples/mnist/spark/mnist_dist.py \

--confspark.cores.max=${TOTAL_CORES} \

--confspark.task.cpus=${CORES_PER_WORKER} \

--confspark.executorEnv.JAVA_HOME="$JAVA_HOME" \

${TFoS_HOME}/examples/mnist/spark/mnist_spark.py\

--cluster_size${SPARK_WORKER_INSTANCES} \

--imagesexamples/mnist/csv/train/images \

--labelsexamples/mnist/csv/train/labels \

--formatcsv \

--modetrain \

--modelmnist_model

    这一步需要修改examples/mnist/spark/mnist_dist.py文件中115行和124行的logdir赋值为None。

       ls -l mnist_model #这一步同样找不到这个文件却不影响之后的步骤

6、跑分布式的mnist预测

${SPARK_HOME}/bin/spark-submit\

--master${MASTER} \

--py-files${TFoS_HOME}/tfspark.zip,${TFoS_HOME}/examples/mnist/spark/mnist_dist.py \

--confspark.cores.max=${TOTAL_CORES} \

--confspark.task.cpus=${CORES_PER_WORKER} \

--confspark.executorEnv.JAVA_HOME="$JAVA_HOME" \

${TFoS_HOME}/examples/mnist/spark/mnist_spark.py\

--cluster_size${SPARK_WORKER_INSTANCES} \

--imagesexamples/mnist/csv/test/images \

--labelsexamples/mnist/csv/test/labels \

--modeinference \

--formatcsv \

--modelmnist_model \

--outputpredictions

    然后就能在HDFS的界面看到跑出来的文件，ubuntu为自己的用户名

六、    真分布式搭建

修改每台机器的/etc/hosts文件

127.0.0.1         localhost

192.168.129.77    matser

192.168.129.155   slave01

……

可以使用ping 命令测试三台机器的连通性

1、配置ssh无密码访问集群机器

首先卸载掉防火墙

    apt-get remove iptables

然后重启

在三台机器中分别执行以下两个命令，以便无密码登录到 localhost。

ssh-****** -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

    将slave01 和 slave02 的公钥id_dsa.pub 传给 master（hadoop的位置为机器用户名）

scp ~/.ssh/id_dsa.pub [email protected]:/home/hadoop/.ssh/id_dsa.pub.slave01

scp ~/.ssh/id_dsa.pub [email protected]:/home/hadoop/.ssh/id_dsa.pub.slave02

    将slave01 和 slave02的公钥信息追加到master 的 authorized_keys文件中

       catid_dsa.pub.slave01 >> authorized_keys

cat id_dsa.pub.slave02 >> authorized_keys

    将master 的公钥信息 authorized_keys 复制到 slave01 和 slave02 的.ssh 目录下（hadoop的位置同样为机器用户名）

scp authorized_keys [email protected]:/home/hadoop/.ssh/authorized_keys

scp authorized_keys [email protected]:/home/hadoop/.ssh/authorized_keys

    用ssh命令从master连接到各个slave机器，看设置是否成功，是否需要密码

2、hadoop的配置需要做一些修改，在hadoop目录下的etc/hadoop文件夹中

（1） hadoop-env.sh

修改原有的JAVA_HOME，改为自己的绝对路径，并添加HADOOP_PREFIX路径

exportJAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

exportHADOOP_PREFIX=/opt/hadoop-2.6.4

（2） core-site.xml

<configuration>

    <property>

        <name>fs.defaultFS</name>

       <value>hdfs://master:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/local/hadoop</value>

    </property>

</configuration>

注意：tmp目录需提前创建

（3） hdfs-site.xml（中间的数字有几台机器，改成几，之前已经添加的配置没有改动的话不要删）

<configuration>

    <property>

       <name>dfs.replication</name>

        <value>3</value>

    </property>

</configuration>

（4） mapred-site.xml

<configuration>

    <property>

       <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

 

不需要yarn集群的可以忽略（5）（6）

（5） yarn-env.sh

增加JAVA_HOME配置

    exportJAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

（6） yarn-site.xml

<configuration>

 

<!--Site specific YARN configuration properties -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

    </property>

    <property>

       <name>yarn.resourcemanager.hostname</name>

        <value>master</value>

    </property>

</configuration>

（7） slaves

master

slave01

……

    在slave机器上做同样的配置

3、启动Hadoop分布式

格式化文件系统

    hdfs namenode –format

启动NameNode和DateNode

在master机器上执行

    start-dfs.sh

使用jps命令查看master上的Java进程：

使用jps命令查看slave机器上的Java进程：

可以看到NameNode和DataNode均启动成功

若slave机器上的DataNode无法启动，参照伪分布式的解决方法

浏览器输入：http://master:50070可以查看NameNode信息

 

启动 ResourceManager 和 NodeManager （不用yarn的忽略）

    start-yarn.sh

4、Spark分布式启动

Salve机器按照上面的Spark配置步骤安装

将slaves.template 拷贝到 slaves， 编辑其内容为：

master

slave01

……

用真分布式跑mnist的时候注意，启动slave的时候需要用start-slaves.sh启动