Spark集群独立模式HA
一、Spark简介：
Spark是一种与Hadoop相似的开源集群计算环境
Spark基于MR算法实现的分布式计算，拥有Hadoop MR的优点，不同的是结果保存在内存中
Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReduce快40倍左右
Spark是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架
Spark兼容Hadoop的API，能够读写Hadoop的HDFS HBASE 顺序文件等
传统的hadoop
Spark
环境概述：
192.168.1.2 master
192.168.1.3 worker
192.168.1.4 worker
二、Scala环境设置
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
[[email protected] ~]# tar zxvf scala-2.10.4.tgz -C /home/hadoop/
[[email protected] ~]# cd /home/hadoop/
[[email protected] hadoop]# ln -s scala-2.10.4 scala
[[email protected] ~]# chown -R hadoop.hadoop /home/hadoop/
# Scalaexport SCALA_HOME=/home/hadoop/scala
export PATH=$PATH:$HADOOP_DEV_HOME/sbin:$HADOOP_DEV_HOME/bin:$SCALA_HOME/bin
[[email protected] hadoop]# source /home/hadoop/.bashrc
[[email protected] hadoop]# su - hadoop
[[email protected] ~]$ scalaWelcome to Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_25
). |
本文转自ljl_19880709 51CTO博客，原文链接：http://blog.51cto.com/luojianlong/1622837，如需转载请自行联系原作者