大数据平台-Ambari添加本地yum源
关注我的微信公众号:pythonislover,领取python,大数据,SQL优化相关视频资料!~
不知道大家在安装Ambari大数据平台或者新加new host安装服务的时候,有没有奔溃过?
哈哈,反正我奔溃过,因为太慢了,还是不是给你来个下面的error,见过吗?这个是告诉你
stderr:
Python script has been killed due to timeout after waiting 900 secs
上面的错误告诉你python脚本执行超时,那么为什么会超时呢? 因为我们在安装Ambari大数据平台或者新加new host的时候,要安装大量的我们选择的包,比如下面的,反正一堆了,有的包要近几个G大小,而且是要从HDP官方的源来下载,当然慢的要死了。
hdp-select
hadoop_3_0_1_0_187
hadoop_3_0_1_0_187-client
hive_3_0_1_0_187
hive_3_0_1_0_187-hcatalog
hive-server2 - 3.0.1.0-187
tez_3_0_1_0_187
spark2_3_0_1_0_187
sqoop_3_0_1_0_187
ambari-infra-solr-client
zookeeper_3_0_1_0_187-server
hadoop_3_0_1_0_187-yarn
hadoop_3_0_1_0_187-mapreduce
hadoop_3_0_1_0_187-hdfs
hadoop_3_0_1_0_187-libhdfs
snappy-devel
livy2_3_0_1_0_187
spark2_3_0_1_0_187-python
那么今天要说的就是怎么在ambari下用本地源安装,差不多分2步
-
用一台服务器搭建本地源,这部分,某度上资料很多,这里不说了,关键坑的在第二部分
-
怎么使得ambari安装host的时候,使用我们搭建的本地源
如果你在服务器上各种repo文件修改,测试,发现你还是不能用本地源,那么说明你掉进坑了。
其实经过实践,如果你用ambari平台来管理你的大数据平台,那么任何参数你最好都要在ambari web界面里面配置,而不要直接去服务器上修改参数文件,因
为ambari 的复原机制很牛,你改什么就把你改的还原回去。
下面进入正题,怎么在ambari web界面里面设置本地源
它隐藏的比较深,不仔细还真找不到。
上面的设置根据你自己搭建的本地源来设置,设置完之后,飞一般的感觉,哈哈!~