01云计算与大数据之大数据环境下的云计算架构
1、应知应会
- 从数据在信息系统中的是生命周期看,大数据从数据源经过分析挖掘到最终获得价值一般需要经过5个主要环节,即数据准备、数据存储与管理、计算处理、数据分析和知识展现。
- 大数据信息系统的输入是TB级别的数据。
- Google云计算与大数据:分布式文件系统(Google File System)、分布式计算编程模型(MapReduce)、分布式的锁机制(Chubby)以及大规模分布式数据库(BigTable)。
2、大数据环境的技术特征
下表是传统信息系统与大数据信息系统的对比:
项目 | 传统信息系统 | 大数据信息系统 |
---|---|---|
系统目的 | 现实事项的数据生产 | 基于已有数据的应用 |
构建前提 | 结构化设计 | 分析与挖掘模型的建立 |
依赖对象 | 人、物 | 信息系统 |
加工对象 | 数据 | 逻辑 |
处理模式 | 线性处理 | 并行处理 |
数据采集范围 | 局部 | 全局 |
存储 | 集中存储 | 分布式存储 |
价值 | 记录历史方式的事件信息 | 发现问题 、科学决策 |
效果 | 数据生产、简单应用 | 统计挖掘、复杂应用 |
呈现 | 局部个体的信息展现 | 个体在全局中的展现 |
表现形态 | ERP、OA等系统 | 宏观决策信息系统 |
作用 | 企业信息化 | 企业智慧“大脑” |
从数据在信息系统中的生命周期看,大数据从数据源经过分析挖掘到最终获得价值一般需要经过5个主要环节,即数据准备、数据存储与管理、计算处理、数据分析与知识展现。
- 数据准备环节
在进行存储和处理之前,需要对数据进行清洗、整理,这在传统数据处理体系中称为ETL(Extracting Transforming Loading)过程。与以往数据分析相比,大数据的来源多种多样,包括企业内部数据库、互联网数据和物联网数据,不仅数量庞大、格式不一,质量也良莠不齐。这就要求数据准备环节一方面要规范格式,便于后续存储管理,另一方面要在尽可能保留原有语义的情况下去粗留精、消除噪声。 - 数据存储与管理环节
- 计算处理环节
- 数据分析环节
- 知识展现环节
下图是大数据的技术架构:
3、云计算架构
云计算架构主要可分为四层,其中三层是横向的,分别是显示层、中间件层和基础设施层,这三层技术能够提供非常丰富的云计算能力和有好的用户界面。还有一层是纵向的,称为管理层,它是为了更好的管理和维护横向的三层而存在。
4、云计算的应用
- 电子邮箱应用
云计算使得电子邮箱可以使用云端的资源来检查和发送邮件,用户可以在任何地点、任何设备和任何时间访问自己的邮件,企业可以使用云技术让他们的邮箱服务变得更加稳固。 - 云呼叫应用
- 私有云应用
- 云游戏应用
- 云教育应用
- 云会议应用
SaaS模式 - 云社交应用
5、参考文献
[1] 陶皖.云计算与大数据[M].陕西:西安电子科技大学出版社,2017