数据中台
数据中台
基本介绍
定义
- 作为底层数据开发以API方式向上层提供各类数据应用的中间层。
解决
-
效率
一点业务变更带来的数据开发变更很大，效率低下，开发速度和响应力跟不上。
-
打通业务，进行更好地T+0+1
-
打破冗余
避免多个业务有联系但是各自用一套系统，避免重复造轮子，对业务、性能、开发的压力。
仓库、平台、中台
- 中台是企业级逻辑，企业的D2V能力，主要以数据API的方式为业务提供服务。
- 数仓是存储和管理主题数据的集合，主要提供分析报表。
- 数据平台是融合了机构化和非结构化的数据基础平台，主要为业务提供数据集。
- 中台距离业务更近，为业务提供速度更快的服务。
- 数仓支持管理决策分析，中台将数据服务化之后提交到业务系统，适用于交易场景。
- 中台是简历在书库和平台之上，是加速企业从数据到业务价值的过程中间层。
能力具备
1.数据规划和治理
- 规划企业全景图，规划价值数据，梳理出企业的数据资产目录。
- 粒度不用太细，但是要精确，供外部调用。
2.数据获取和存储
- 必备能力。
3.数据共享和协作
- 做好数据资产目录，并且开方，数据流动起来。
- 在数据安全的情况下净量流动，对于价值相关者，价值创造者开放。
4.业务价值的探索和分析
- 提供分析数据的工具和能力，针对不同业务提供不同的分析工具，并且能够一键生成数据API。
5.数据服务的构建和治理
- 具备强大的服务治理能力，在中台上产生各种服务，数据服务可记录，跟踪，审计，监控。
6.数据服务的度量和运营
- 需要有度量和运营数据服务的能力，对中台使用服务情况和相关行为进行跟踪和记录。（哪个部门使用哪个服务多少次等）评估数据服务的价值。
数据质量的影响
- 在解决数据质量的基础上或者过程中，结合整体数据规划的数据思维进行考量，更好地对其口径，抽象数据模型。
挑战
- 业务场景梳理
- 建设中台的优先级策略，根据业务重要性来排具体的需求。
- 数据治理的问题，资产目录→提取共有纬度，共性模型，治理&业务紧密结合。
中台抽象
-
两个方面
-
中台与业务对齐，全场景规划，小场景启动。
中台分类
技术中台
- 技术聚合，团队负责，避免冗余的重复造轮子。
业务中台
- 相对来讲是最终效果，将技术和数据打通，前台业务推进，后台业务支持。
数据中台
- 除了本身的需求和业务使然，能够打破现状，向前推荐是最好的。
逻辑架构
实时逻辑
-
实时接入
-
计算框架
基于Kappa架构实现实时的开发能力，充分发挥开发、框架的能力。
在某个点，实时合并得到离线需求。
-
实时模型
-
DW模型
-
动态模型
对实时数据进行汇总统计，做实时的统计指标分析，一般利用Kafka和HBase可以完成。
-
事件模型
根据需要触发模型的点，将事件注入相应模型得到相应策略。
实时窗口中的事件进行综合处理利用。
-
时序模型
事件粒度相关的计算。
-
-
-
实时服务
利用图形化、流程化、可编排的数据开发工具真正降低实时数据开发成本。
各种实时服务。
-
实时应用
实时窗口中的事件进行综合处理利用。
-
时序模型
事件粒度相关的计算。
-
实时服务
利用图形化、流程化、可编排的数据开发工具真正降低实时数据开发成本。
各种实时服务。
-
实时应用