CDH下的spark日志文件查询
如果算法文件的日志过大，通过web页面太慢了，通过文件查询就快的多了。
1、spark的日志文件位置：
因为是用yarn提交的计算任务，所以日志是在yarn的容器中记录的。
/yarn/container-logs
2、找到之前的算法任务：
日志文件所在的节点。
3、进入该节点：
可以看到对应容器日志目录
4、查看具体的日志
cat 命令来查看stderr文件，就可以查找具体的信息了，比在web页面上看要速度快多了。
如果算法文件的日志过大，通过web页面太慢了，通过文件查询就快的多了。
1、spark的日志文件位置：
因为是用yarn提交的计算任务，所以日志是在yarn的容器中记录的。
/yarn/container-logs
2、找到之前的算法任务：
日志文件所在的节点。
3、进入该节点：
可以看到对应容器日志目录
4、查看具体的日志
cat 命令来查看stderr文件，就可以查找具体的信息了，比在web页面上看要速度快多了。