您的位置: 首页 > 文章 > SparkSQL 开发中遇到的参数坑-1

SparkSQL 开发中遇到的参数坑-1

分类: 文章 • 2025-02-11 21:42:34

SQLConf

SQLConf 默认情况下ORC文件格式的文件，过滤条件默认不适用谓词下压导致性能极差。但是他默认是压缩的，10000条

SparkSQL 开发中遇到的参数坑-1

SQLConf

verifyPartitionPath 参数也是false的

SparkSQL 开发中遇到的参数坑-1

SQLConf 在1.6版本之前是false 后面变成了true

SparkSQL 开发中遇到的参数坑-1

SparkSQL 开发中遇到的参数坑-1