Spark集群周边的Web UI设置与打开的条件(持续更新中)
下面是变量名:
| 变量 | 取值 | 所在文件 | 作用 |
| spark.eventLog.enabled | true | spark-defaults.conf | 开启日志记录 |
| spark.eventLog.dir | file:///home/appleyuchi/bigdata/spark-2.3.1-bin-hadoop2.7/logs/applicationHistory | spark-defaults.conf | Application在运行过程中所有的信息均记录在该属性指定的路径下 |
| spark.yarn.historyServer.address | Desktop:18080 | spark-defaults.conf | 设置History Server的地址和端口,这个链接将会链接到YARN检测界面上的Tracking UI. |
| spark.eventLog.compress | true | spark-defaults.conf | |
| spark.history.fs.logDirectory | file:///home/appleyuchi/bigdata/spark-2.3.1-bin-hadoop2.7/logs/applicationHistory | spark-defaults.conf | 日志目录和spark.eventLog.dir保持一致,Spark History Server页面只展示该指定路径下的信息. |
spark-env.sh中可以设置:
export SPARK_HOME_OPTS="-Dspark.history.retainedapplicatons=15"
| 链接 | 相关组件 | 想打开该链接必须满足的条件 |
| http://master:4040 | Spark | 启动spark-shell或者pyspark |
| http://master:8080 | Spark-Master | $SPARK_HOME/sbin/start-all.sh |
| http://master:8088/ | Hadoop-Yarn | $HADOOP_HOME/sbin/stop-all.sh |
| http://master:19888 | Hadoop-History | $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver |
| http://master:18080 | Spark-History | $SPARK_HOME/sbin/start-history-server.sh |
| http://master:50070 | Hadoop | $HADOOP_HOME/sbin/stop-all.sh |
| http://master:10002 | Hive | Hive2.2.0以后已经删除HWI界面[2] |
| http://master:60010 | Hbase | 还没有完成 |
注意:
上面的start-all里面不包含启动history服务器。
#------------------------------------------------------------实践操作---------------------------------------------------------------------------------
首先分别运行MapReduce实验和SPARK实验
Hadoop的Mapreduce和SPARK的RDD两种实验的history log在web UI上分别怎么看呢？
图中可以看到，最上面两行的Application Type分别是SPARK和MAPREDUCE.
如果点击SPARK右侧的History,会跳转到
如果点击MAPREDUCE右侧的History,会跳转到
结论:
Web UI会根据实验的类型(SPARK/MAPREDUCE)而跳转到不同的log页面
#------------------------------------------------------------实践操作---------------------------------------------------------------------------------
#-------------------------------------------------------------Spark和Hadoop服务器在jps中的名称----------------------------------------------------
| 组件 | History服务器在jps中的名称 |
| Spark | HistoryServer |
| Hadoop | JobHistoryServer |
Reference: