易观 OLAP 大赛揭晓 PingCAP 斩获商业组桂冠

28 日,在 2017 易观 A10 大数据应用峰会上,针对“有序漏斗”难题进行行业攻坚的“2017 易观 OLAP 算法大赛”公布了最终结果。PingCAP 参赛组以超过原始基准测试近 30 倍的成绩,获得了商业组的冠军,并作为优秀案例在大会进行了解题思路分享。

易观 OLAP 大赛揭晓 PingCAP 斩获商业组桂冠

PingCAP 作为本次算法大赛商业组参赛队,借助 TiDB 的算法引擎,展现了强大的复杂 OLAP 处理能力。 作为 PingCAP 的核心产品 TiDB 受 Google/F1 启发,具备强大的水平扩展,强一致性的多副本数据安全,分布式事务,实时 OLAP 等特性。依托这些特性,TiDB 彻底改变以往数据库弹性扩容与事务处理不可兼具的境况,将在线事务处理和在线分析处理融为一体,完美适配大数据背景下各行业的数据存储、计算需求。

作为 TiDB 项目中针对解决用户复杂 OLAP 需求的重要组件,TiSpark 将 Spark SQL 直接运行在 TiDB 存储层上,同时融合 TiKV 分布式集群的优势,并融入大数据社区生态。至此,TiDB 可以通过一套系统,同时支持 OLTP 与 OLAP,免除用户数据同步烦恼。

本次 2017 易观 OLAP 算法大赛以攻坚“有序漏斗”为考题,TiDB 的算法引擎在处理时将性能作为首要目标,运用多种存储布局和索引手段,对数据进行快速扫描和有效过滤,大量使用 SIMD 技术的向量化计算,优化布局,极大减少编解码开销,并根据场景进行智能化存储和 IO 策略。最终以超过原始基准测试近 30 倍的成绩亮眼胜出,获得了专家评审的一致认可。

大数据环境给企业运营带来了新的挑战和机遇,精准捕捉和分析用户行为,以进一步帮助企业的用户增长及留存,成为互联网时代企业产品运营的核心价值。漏斗转化是帮助企业更快、更好的了解在哪一环节提升运营,实现精细化运营的重要手段。行业内已将实现“漏斗”升级作为当前数据应用领域的重要议题。其中,相较用户路径重合率极低的“无序漏斗”,“有序漏斗”的数据研究更有价值。

易观 OLAP 大赛揭晓 PingCAP 斩获商业组桂冠

此次 PingCAP 作为商业组冠军提交的优异成绩,为业内攻坚“有序漏斗”计算效率的技术瓶颈提供了突破口。在会上,PingCAP 联合创始人兼 CEO 刘奇还进行了解题思路详解。他表示,在数据驱动的今天,通过对数据的分析,快速挖掘潜在的用户需求与市场机遇,这其中,高效是关键。TiDB 融合了 OLTP 与 OLAP 能力,将数据价值最大化,通过技术创新研发,为市场提供更好的技术解决方案,希望能够降低实时数据分析行业的门槛。

作为世界级分布式 HTAP 数据库厂商,PingCAP 的代表作 TiDB 现已发版至 1.0 GA 版。准生产测试用户 400 余家,其中摩拜单车、同程旅游、360 金融、游族网络,盖娅互娱、猿辅导,去哪儿等数十家不同行业的领先企业已经应用在实际生产环境,涉及互联网、游戏、金融、政府、电信、制造业等多个领域,帮助企业解决了海量数据存储、超大规模并发访问及交易问题。同时与腾讯云、UCloud 等国内外多家主流的大型公有云厂商深度集成,提供公有云数据库服务。