全网第一份 Kylin 4.0 性能调优指南!

Kylin 4.0 相较之前的版本是一个重大的架构升级版本,全新的构建引擎和查询引擎极大地提升构建性能和查询性能,解决了查询单点问等痛点;去除了 HBase 依赖,很大程度地解决了 Kylin 的难运维问题,也使得 Kylin 的计算和存储分离变为可能,更加符合云原生的技术趋势。

随着 Kylin 4.0-alpha 版本的发布,全新的构建和查询引擎也使 Kylin 4.0 中的调优方式相比 Kylin 之前的版本发生了重大的变化,这使得 Kylin 老用户积累的大部分调优经验不再适用于 Kylin 4.0 。

为了使用户能够快速了解 Kylin 4.0 中的调优方式和最佳实践,避免在使用 Kylin 4.0 过程中由于其调优方式与 Kylin 之前版本的巨大差异而遇到性能瓶颈,Kyligence 的大数据架构师张智超发布了 Kylin 4.0 的最新性能调优指南。(点击“阅读原文”,直达 Kylin 4 最新性能调优指南

除此之外,我们更特意推出了本期 B 站视频,来讲解在 Kylin 4.0 中如何优化 Cube 构建和查询性能。本次视频主要分为 Cube 构建性能优化查询性能优化两个部分。

# 上篇「Cube 构建性能优化」

关于 Cube 构建性能优化,除了可以通过原有的设置层级维度、必需维度等方式对 Cube 进行剪枝来提升构建速度以外,还可以通过设置合理的 Spark 资源配置来优化构建,比如利用 Kylin 4.0 中的新特性自动调参,或者调整全局字典以及维度表快照的相关配置来提升性能。

# 下篇「查询性能优化」

而查询性能优化,则主要是通过在 Cube 中指定 shardBy 列、设置 sortBy 列顺序、减少小文件、对查询引擎 SparderContext 的配置进行调整等方式来实现的。

除了以上针对 Kylin 4.0 调优的讲解视频,大家还可以在 Kylin Wiki 中了解 Kylin 4.0 的最新进展。随着 Kylin 4.0 不断迭代更新,Kylin 4.0 的性能调优方式也会不断发生变化和更新,欢迎大家持续关注我们的最新性能调优指南」(点击“阅读原文”即可直达):

Kylin 4.0 性能调优指南目录如下图:

全网第一份 Kylin 4.0 性能调优指南!


推荐阅读

Kylin 在贝壳找房的实践及 HBase 优化

网易云音乐基于 Flink + Kafka 的实时数仓建设实践

分布式存储引擎 Alluxio 入门指南

全网第一份 Kylin 4.0 性能调优指南!