PySpark 关闭不用的INFO信息

执行Spark程序的时候 会显示很多的INFO, 但有时候会显得狠乱,我就找不到我的输出了

PySpark 关闭不用的INFO信息

Log 文件的设置在 org.apache.log4j 下

def setLogger( sc ):
   # 选择log4j文件
  logger = sc._jvm.org.apache.log4j
  logger.LogManager.getLogger("org"). setLevel( logger.Level.ERROR )
  logger.LogManager.getLogger("akka").setLevel( logger.Level.ERROR )
   #这个一般不关,有时候还是有用的
  logger.LogManager.getRootLogger().setLevel( logger.Level.ERROR )