PySpark 关闭不用的INFO信息
执行Spark程序的时候 会显示很多的INFO, 但有时候会显得狠乱,我就找不到我的输出了
Log 文件的设置在 org.apache.log4j 下
def setLogger( sc ):
# 选择log4j文件
logger = sc._jvm.org.apache.log4j
logger.LogManager.getLogger("org"). setLevel( logger.Level.ERROR )
logger.LogManager.getLogger("akka").setLevel( logger.Level.ERROR )
#这个一般不关,有时候还是有用的
logger.LogManager.getRootLogger().setLevel( logger.Level.ERROR )