文章来自http://spark.apache.org/docs/latest/cluster-overview.html

Component

spark应用程序以独立进程的集合的方式运行在集群中，通过driver program中的SparkContext对象进行协调。

SparkContext能够连接多种不同类型的cluster manager（如standalone，mesos，yarn），这些cluster manager都是用来分配资源给spark应用程序的。一旦建立连接，spark就会获取到集群节点中的executor。executor以进程的形式运行在work node上，用来执行计算以及存储数据，因此多个work node就会有多个executor。driver program将spark应用程序的代码先交给SparkContext然后再发送给executor。最后，SparkContext将task发送到executor去执行。

架构中的一些注意事项：

1. 每一个spark应用程序都会获取属于自己的executors进程，在整个应用程序执行的过程中，executor以多线程的形式执行task。这样有利于应用程序间的隔离，不管从调度层面来讲（每个driver调度属于自己的tasks）还是从executor层面（不同spark应用程序的tasks实际上运行在不同的jvm上）。但是，应用程序间隔离也意味着数据无法在spark应用程序（SparkContext的实例）间传递，除非将数据写到外部存储系统中。
   
2. 底层的cluster manager感知不到spark的存在。只要spark能够获取到executor进程（同一个spark应用程序下的executor进程能够相互通信），即使cluster manager属于不同类型（如 mesos，yarn），spark应用程序都能够相对容易地运行起来。
   
3. driver program在整个生命周期中都必须监听，接受来自属于自己的executor的连接请求（可以在network config section中的spark.driver.port项进行配置）。因此，driver program必须要保持和其他work node的网络是可以连通的。（这里可能存在跨网段问题？）
   
4. 因为集群上的tasks受到driver的调度，所以driver需要够靠近work node运行，在同一个局域网中是最好的。如果想要远程向集群发送请求，那么通过RPC将请求发送给driver，由driver在近work node端提交给我们的操作，比在远work node端运行一个driver来的好一些。
   

Cluster Manager Types

• Standalone，附带简单cluster manger的spark，可以轻松设置集群（单机版）
• Apache Mesos，一个通用的cluster manger，也可以运行Hadoop MapReduce和服务应用程序
• Hadoop YARN，Hadoop 2.x中的资源管理器
• Kubernetes，一个开源系统，用于自动化容器化应用程序的部署，扩展和管理。
  

Submitting Applications

spark可以通过spark-submit脚本将应用程序提交到任何不同类型的集群中。

Monitoring

每个driver program都拥有自己的web UI，端口一般为4040，web包含运行中的tasks，executors，storage usage信息。 通过http://<driver-node>:4040可以访问到。

Job Scheduling

spark可以控制跨应用程序（从cluster manager的层面）的资源分配以及应用程序内（如果有多个计算发生在同一个SparkContext中）的资源分配。

Glossary