大数据共享交换平台的功能需求

　　大数据平台是集开发、配置、部署、管理、监控、安全于一体的数据交换全生命周期管理的数据交换平台。平台可快速构建、运行和管理分布式应用系统间、云环境下应用系统之间等数据交换共享任务，可满足各种大型应用、各种复杂的网络环境下的业务需求，尤其适用于跨部门、跨地域、跨层级的数据交换共享应用。

 

　　数据交换共享平台

 

　　传统大数据平台的一些常见问题：

 

　　1.数据孤岛问题

 

　　传统方式建设企业系统时，不同部门或团队通常会构建独立的数据库，导致的问题有：同一份数据存在于多个业务系统内且内容不一致，缺少统一的数据标准、数据管理流程及可靠的管理工具，出现质量问题时往往无法有效追溯并修正。

 

　　2.烟囱开发问题

 

　　“烟囱”式架构是传统企业系统开发的弊病，不同团队独立建设、独立开发服务和应用，带来安全、运维、升级、部署等通用功能的重复开发和投入问题，这种开发的低复用率带来了巨大资源的浪费，难以形成技术合力，也不利于团队间的研发管控和质量提升。

 

　　3.技术门槛问题

 

　　大数据和AI的应用与运维十分昂贵，无论是对于平台建设、团队建设还是业务探索而言都会带来不小的开销。将数据服务化、资产化、在线化，以方便客户、技术开发人员和数据科学家使用，降低技术门槛是当务之急。

 

　　数据交换共享平台功能需求

 

　　1、统一的资源目录管理：

 

　　支持统一的元数据管理，包括元数据的模型设计、模型审核、模型实施、模型验证，以及模型版本管理、关系管理等；

 

　　支持资源的检索与定位，便于服务的重用与维护；

 

　　2、全面灵活的数据采集：

 

　　采用调度中心+决策中心相结合的分布式数据采集处理架构，支持多样化的采集策略和多种抽取、汇总方式；

 

　　支持可视化任务编排、配置、规则定义及发布；

 

　　针对结构化资源和非结构化资源，以数据映射、数据裁剪、数据过滤的工具化手段进行数据处理；

 

　　3、集中式数据质量管控

 

　　支持数据质量核查规则配置与管理，在数据采集清洗过程中完成数据质量核查与告警；

 

　　支持对数据质量告警的监控和数据质量问题的可视化呈现；

 

　　提供知识库管理和查询，支持数据血统分析和影响分析；

 

　　4、安全便捷的数据交换共享服务

 

　　支持以数据服务的形式封装数据，提供统一的数据开发共享能力；

 

　　数据服务封装和开发，支持WebService协议、FTP协议和数据库等各类接口；

 

　　支持服务发布、订阅及审核管理，同时支持对服务调用情况进行监控，以确保平台采集管理的数据正常实现交换共享；

 

　　大数据平台让数据的运用更灵活，让数据共享交换变得随时随地、按需和便捷，充分调度计算设施、存储设备、应用程序等资源，满足用户多元化、复杂的需求，降低了开发、管理的难度。