为什么要用大数据和大数据的介绍

像我们做应用开发的（JAVA），会遇到很多的性能瓶颈，

最常见的也是最难解决的是数据库存储和查询方面的，当然也有很多

解决方案，比如：做表设计优化，查询优化，数据库主从优化，分库分表优化等。

但是不管你怎么优化，当量到了一定程度的时候，这么操作就没什么优化效果了

以用的最多的MYSQL来说，mysql5.7版本以上的单表最多大概是1000W+，最新的MySQL8的

单表上线也是1亿+，当数量超过了这个量，你会发现不管你怎么优化，基本上没有什么效果了

这个时候，我们就要考虑换个技术，这个时候我会推荐用HADOOP生态圈。

HADOOP是什么？

1) Hadoop是一 个由Apache基全 会所开发的分布式系统基础架构。

2)主要解决，海量数据的存储和海量数据的分析计算问题。

3)广义上来说Hadoop通常是指-个更广泛的概念一-Hadoop生态圈。

从上面来看，HADOOP主要的功能就是对海量数据的存储和分析，这个就有点类似于数据库的功能了，

但是它不同的是它存的不仅仅是结构化的数据，还包括很多半结构，非结构的数据：包括文档，音频，视频等

这个是我们这个大互联网时代是非常常见和必要的。

HADOOP核心技术也是存储和分析：

1，存储是HDFS(分布式文件存储系统)

2，调度是YARN,资源调度，当客户端有请求过来，资源调度接受处理。

3，MapReduce分析计算，分析计算你的数据。

之上又衍生了其他一些技术，HBASE,SPARK,FLINK等等，都是在这些技术上做的新的扩展。

 

下面是HADOOP技术生态体系：

大数据无处不在，大数据应用于各个行业，包括金融、汽车、餐饮、电信、能源、体能和娱乐等在内的社会各行各业都已经融入了大数据的印迹。

制造业，利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程。

金融行业，大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。

汽车行业，利用大数据和物联网技术的无人驾驶汽车，在不远的未来将走入我们的日常生活。

互联网行业，借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放。

电信行业，利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施。

能源行业，随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全。

物流行业，利用大数据优化物流网络，提高物流效率，降低物流成本。

城市管理，可以利用大数据实现智能交通、环保监测、城市规划和智能安防。

生物医学，大数据可以帮助我们实现流行病预测、智慧医疗、健康管理，同时还可以帮助我们解读DNA,了解更多的生命奥秘。

体育娱乐，大数据可以帮助我们训练球队，决定投拍哪种题财的影视作品，以及预测比赛结果。

安全领域，政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪。

个人生活， 大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务。