大数据的行业与技术趋势

• 大数据时代
• 大数据的应用领域
• 大数据时代企业所面临的机遇和挑战
• 基于华为大数据解决方案

　　1.各国都将大数据作为国家战略

　　全球各主要经济体都已将数据开放作为国家战略，促进未来经济发展。中国在顶层设计 上已经开始布局大数据产业r

　　2.中国实施国家大数据战略

　　实施国家大数据战略 加快建设数字中国

1. 要推动大数据技术产业创新发展
2. 要构建以大数据为关键要素的数字经济
3. 要运用大数据提升国家治理现代化水平
4. 要运用大数据促进保障和改善民生
5. 要切实保障国家数据安全

　　2017年12月8日，国家主席在中共中央政治局第二次集体学习时强调，审时度势精心 谋划超前布局力争主动，实施国家大数据战略加快建设数字中国。 

　　3.大数据时代

　　维基百科的定义：

　　大数据是指利用常用软件工具捕获，管理和处理数据所耗时间超过可容忍时间的数据集。

在3V的基础上，业界对4V的定义加上了价值密度低（Value），而IBM对4V的定义加上 了真实准确（Veracity）。 

目前对大数据尚未有一个公认的定义，不同的定义基本上是从特征出发，试图给出大数 据的定义。　

　　4.数据的产生

　　 Google 上每天需要处理24PB的数据 ，全球每秒钟发送 2.9 百万封电子邮件，每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年…推特上每天 发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览 16 年…每天亚马逊上将产生 6.3 百万笔订单…每个月网民在Facebook 上要花费7 千亿 分钟，被移动互联网使用者发送和接收的数据高达1.3EB。RFID是一种非接触式的自动 识别技术，可识别高速运动物体并可同时识别多个电子目标。在超市中运用很多

　　5.所有生意都是数据生意

　　不管你现在做什么行业，你做的生意都是数据生意。你关于客户的这些数据，其实跟你 的客户对于你来说是同样重要的。数据可以通过网络流转，从一个格式变成另一个格式。 数据不应该以它的存储而定义，应该由它的流转来定义。 过去的数据时代，我们使用文件、文件夹、桌面这些东西。进入网络时代之后，数据就 出现在网页上、链接里。今天我们用云，用标签、流来比喻数据。对现在来说，文件夹、 网页什么的就不是最重要的数据。所有的东西都在我们的数据流里，有信息、有新闻。 过去的关键词是我，现在的关健词是我们;过去的关键词是项目，现在的关健词是数据。 我们处于整个互联网新时代的第一天，此时此刻最重要的。接下来我们就需要了解如何 量化自己，我也一直在参与这样的项目，把我们自身的一些信息去数据化。 

　　我们使用很多设备去进行自我量化。我认识的一些人，会在身上装40多个传感器，不停 地检测自己的数据。我曾经跟一个人打赌说，任何一个只要是人类用工具可以测量的数 据，都一定在被测量。我们为什么要跟踪这些数据?有健康的原因，社交的原因，提高 工作效率的原因。还有很多非常前沿的数据测量工具，比如说有一种工具可以去分析我 们呼吸气体里面的化合物，通过分析呼吸来判断你的血液情况。苹果推出的手表也是不 停采集你的数据，通过APP进行处理。通过数据分析，我们可以看到哪天的工作效率较 高，在那天我们吃了什么，做了哪些事情来提高效率。我们就可以通过这样的方式更好 地了解自己，提高生产效率。 

　　6.大数据时代与传统数据处理的差异

　　7.大数据的时代已经到来

　　大数据时代的“破坏性创新” “破坏性创新”是克里斯坦森教授那本著名的《创新者的 窘境》书中提到的概念。他告诉我们，创新在一个既已成功的主体中是多么难以发生。 1800年代，当时世界上最盈利的企业是那些经营帆船的公司，它们已经成为全球性企业。 随后蒸汽船被发明了，没有帆，靠蒸汽轮机发动。蒸汽船出现伊始，是一种体验很糟的 交通工具——跟大帆船相比又小又短，制造价格非常昂贵，可靠性也很差。当时的大船 运公司都没有把它放在眼里。 

　　然而，尽管种种的不靠谱，但蒸汽船有一个优势，就是可以逆流前进，这改变了人类几 千年只能“顺流而下”的历史。随着技术的发展，蒸汽船就变得越来越便宜，可靠性也 越来越高，体积也变得越来越大。最后，蒸汽船的技术成熟了，不但消灭了大帆船，也 消灭了那些依赖大帆船做航运的海运公司。 

　　破坏性创新技术最初都是个笑话 

　　总结起来：破坏性创新的技术都有一个模式：刚开始出现的时候都是不起眼的东西，被 人忽略。可以看到这三条线：上面一条线是在市场上表现非常好的业界领袖，有一个很 平稳的发展曲线;下面一条曲线就是消费者的较低满意度，最下面那个点，是当时出现的 破坏性创新企业。最初的时候，破坏性创新的技术远比客户的要求差，是一个笑话。然 而，当它以更快的速度发展，突然有一天碰到了消费者的需求点，就会产生很快的发展 势头，成为市场上的统治者。 

　　8.大数据和人的关系

　　大数据只是一种处理问题的新型工具，社会的主题还是人自己本身。 

　　9.大数据应用的领域

　　社交网络和物联网技术拓展了数据采集技术渠道。

　　分布式存储和计算技术夯实了大数据处理的技术基础。

　　深度神经网络等新兴技术开辟大数据分析技术的新时代。 

　　10.大数据应用的实例 1 金融

　　沃尔玛第一个利用Hadoop数据的应用节省捕手——只要周边竞争对手降低了客户已经 购买的产品的价格，该应用程序就会提醒客户。然后这个应用程序会向客户发送一个礼 券补偿差价。 

　　沃尔玛通过关联规则学习,发现草莓果的销售量在飓风之前增长了7倍。沃尔玛通过数据 挖掘确认飓风和草莓果之间的联系,使得它所有的草莓果在飓风前签出。 沃尔玛单独地 跟踪每个消费者。沃尔玛拥有详尽的将近1.45亿美国客户数据，大约是美国成年人的 60%数据。沃尔玛通过店内WiFi收集关于客户购买的物品、他们住的地方，他们喜欢的 产品等信息。沃尔玛实验室的大数据团队分析用户在Walmart.com的点击行为，消费者 在店内和线上购买的物品,推特上的趋势,当地的活动（如旧金山巨人队赢得世界大赛）, 当地天气偏差如何影响购买模式,等等。所有的活动都是在由大数据算法捕获和分析从而 识别有意义的大数据洞察力，而这可帮助数百万客户享受个性化的购物体验。 

　　11.大数据应用的实例 2 教育

　　教育改革

　　大数据为基础教育和高等教育提供技术支持，分析从学生的心理活动、学习行为、 考试分数到职业规划等所有重要的信息。现有许多教学数据已经被诸如美国国家 教育统计中心之类的政府机构储存起来用于统计和分析。大数据分析最终目的是 为了改善学生的学习成绩。并利用它们为改善学生的成绩提供个性化的服务。与 此同时，它还能改善学生期末考试的成绩、平时的出勤率、辍学率、升学率等， 还可以促进教育领域方面的均衡化发展。 

　　 学习分析

　　现今的老师通过大数据得到的不再是过去那种只展示学生分数与作业的结果，而 是通过监控学生浏览数字化学习资源次数、提交电子版的作业完成度、在线师生 和生生互动指数、考试与测验完成度，就能让其系统持续和精确分析每个学生参 与教学活动的数据。比如阅读材料的时间长短和次数等这样更为详细的重要信息， 这样老师就能及时诊断问题的所在，提出改进的建议，并预测学生的期末考试成 绩。 

　　考试评价

　　大数据要求教育工作者必须更新和超越传统观念，不能只追求正确的答案，学生 是如何完成整个教学过程的行为过程也同样重要。在一次考试中，学生在每道题 上花费了多少时间？最长的是多少？最短的是多少？平均又是多少？哪些此前已 经出现过的问题学生答对或答错了？哪些问题的线索让学生获益了？通过监测这 些信息，通过学习自适应系统，为学生提供个性化的学习方案和学习路径，形成 个人学习数据档案，能够帮助教育工作者理解学生为了掌握学习内容而进行学习 的全过程，并有助于向他们进行“因材施教”。 

　　12.大数据应用的实例 3 出行

　　国内有2亿手机用户使用百度地图，用户每次位置变化，百度都能得到数据。把手机 网民的定位信息汇总成大数据进行分析，就能勾勒出人们的迁徙轨迹。
　　此次百度图景化地展示春运情况，是基于LBS(基于地理位置的服务)技术的一次创新。 它的数据每8小时更新一次，囊括了全国铁路、公路和航空在内的线路。

　　14.大数据应用的实例  4 旅游

　　针对游客不同的年龄，爱好，经济能力等等特征，给出适合的旅游套餐，以及规避潜在 的旅游风险。 

　　15.大数据应用的实例  5 政府公共安全

　　用云计算以及大量数据定位那些最易受到不法份子侵扰片区，利用大量数据创建一张犯 罪高发地区热点图。在研究某一片区的犯罪率时，将相邻片区的各种因素列为考虑的对 象，为警方更具针对性的锁定犯罪易发点、抓获逃犯提供支持。 

 　　等等。。。。。。。。。。。。。。。。

　　16.从批量处理到实时分析

　　17.Hadoop业界参考实践

　　Intel Hadoop利用SSD、CPU指令优化等技术，比开源HBase查询速度快10倍。

　　在Hadoop之外，Intel独立维护一个开源项目Project Panthera，包括即时分析、文档存 储、分析SQL引擎等。

　　MapR采用新架构重写HDFS，比开源Hadoop性能快3倍，自带快照功能，而且无单点 故障，API兼容。主要合作伙伴为EMC。

 　　18.内存计算机业界参考实践

　　19.流计算业界参考实践

　　实时处理发展趋势：通过流计算能力实现海量事件的实时分析和处理， 支撑实时决策和实时推荐等实时应用。 

　　20.大数据时代的机遇

　　机遇-大数据蓝海成为企业竞争的新焦点

　　在今天的大数据时代，商业的生态环境在不经意间发生了巨大的变化：网民和消费者的 界限正在变得模糊，无处不在的智能终端，随时在线的网络传输，互动频繁的社交网络 让以往只是网页浏览者的网民的面孔从模糊变得清晰，对于企业来说，他们第一次有机 会进行大规模的精准化的消费者行为研究：主动地拥抱这种变化，从战略到战术层而开 始自我的蜕变和进化将会让他们更加适应这个新的时代，大数据蓝海成为未来竞争的制 高点。 

　　21.大数据发展所需要的人才类型

• 大数据系统研发工程师
• 大数据应用开发工程师
• 大数据分析师
• 数据可视化工程师
• 数据安全研发工程师
• 数据科学研究人才

　　22.华为大数据平台架构框架

思考

　　1.大数据从什么地方来？这些数据有哪些特点？

　　大数据存在于社交平台、销售记录、政府信息等生活方方面面中。大数据的特点：

　　1、数据规模大；2、数据类型繁多；3、先有数据后有模式；4、数据对象存在联系。 

　　2.大数据可以应用到哪些社会领域？

　　政治、金融、教育、出行、旅游、政府公共安全、交通规划、体育。