BIGDL ON CDH

BigDL是一种基于Apache Spark的分布式深度学习框架

安装

下载源码

   https://github.com/intel-analytics/BigDL

编译：

   CDH集群安装了spark2.2,采用spark2.2编译。执行如下命令

1. 安装maven(apache maven官网下载解压配置环境变量即可，此处省略)
2. 进入/home/bigdl/BigDL-master，执行如下命令编译：

        bash make-dist.sh -P spark_2.2

   3，编译完成，执行spark命令测试，如下：

   spark2-shell --properties-file /home/bigdl/BigDL-master/dist/conf/spark-bigdl.conf \

--jars /home/bigdl/BigDL-master/dist/lib/bigdl-0.5.0-SNAPSHOT-jar-with-dependencies.jar

scala>import com.intel.analytics.bigdl.utils.Engine

scala>Engine.init

scala> import com.intel.analytics.bigdl.tensor.Tensor

import com.intel.analytics.bigdl.tensor.Tensor

 

scala> Tensor[Double](2,2).fill(1.0)

res9: com.intel.analytics.bigdl.tensor.Tensor[Double] =

1.0     1.0

1.0     1.0

[com.intel.analytics.bigdl.tensor.DenseTensor of size 2x2]

官方文档：https://bigdl-project.github.io/master/#ScalaUserGuide/install-build-src/

 

下载官方编译的版本

https://bigdl-project.github.io/0.6.0/#release-download/

服务器解压安装

unzip dist-spark-2.2.0-scala-2.11.8-all-0.6.0-dist.zip  -d bigdl

配置环境变量

export SPARK_HOME=/opt/cloudera/parcels/SPARK2/lib/spark2

export BIGDL_HOME=/root/bigdl/