Spark window idea 开发环境搭建
Spark window idea 开发环境搭建
idea 安装scala插件
-
安装JDK
-
安装IDEA最新版，目前是IDEA 14，社区免费版就可以；
-
安装scala插件，运行IDEA，初次运行，可以直接再弹出的tab框中选择“Configure” -> “plugins”，如果已经使用过在工程页面，“File” -> “Settings” -> “Plugins” 或者Ctrl + Alt + S， 输入“scala”， 安装插件即可
windows 配置hadoop环境
-
下载hadoop2.7.7版本
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
解压到：D:\Tools\hadoop-2.7.7
配置hadoop环境变量
HADOOP_HOME=D:\Tools\hadoop-2.7.7
PATH中配置：
%HADOOP_HOME%\bin -
下载winutils.exe
https://github.com/srccodes/hadoop-common-2.2.0-bin
2.2版本与hadoop 2.7.7一样适用
把下载后的文件，进行解压到D:\Tools\hadoop-2.7.7\bin目录下面， 重复文件不用覆盖