搭建spark遇到的问题,提示内存不足,已解决

问题描述:WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

 

    提示内存和资源不足,未连接。这个问题卡了几天了,刚开始以为是worker节点内存有问题,两台服务器有60G的内存,应该不可能是内存的问题,为啥它提示是内存!调了有几次,没有解决,心情很烦躁,第一次搞spark。

    后面看资料,将worker的日志设置到可查看的目录中,然后进入日志查看原因:显示如下

搭建spark遇到的问题,提示内存不足,已解决

     错误日志提示没有找到主机路由,这很明显是连接问题。继续搜资料,发现是接口没连接上,然后我想起CentOS的防火墙一直开启在,之前打开端口都是一个一个打开的,然后搜命令,关闭防火墙。

搭建spark遇到的问题,提示内存不足,已解决

        firewall running~

        果断关掉它,不然什么39063端口,以后再出现什么端口都连不上