认识大数据
什么是大数据
- 百度百科给出的解释是:
大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。- 个人理解是:
大数据就是海量数据,其设计到生活的各个方面,我们在日常生活中产生各种信息的一种集合,是一种无界的数据集合。
大数据的来源有哪些
所有联网的东西, 电脑、手机、ipad、智能手表、智能电器… 包括我们人也是数据的来源,社会就可以比喻成一个超大的数据库,我们每个人都是这个数据库的数据来源,每天几点起床、吃饭、运动等等都是数据。 总而言之大数据来源于生活的方方面面。
大数据的应用有哪些
- 金融投资领域:量化投资,降低风险
- 消费领域:精准推销
- 安全领域:犯罪预测
- 旅游出行:路线优化
- 医疗领域:健康管理
- 其他方面留给读者自己去想象
大数据的主流开发工具有哪些
1. hadoop生态圈
hadoop 是以分布式文件系统和分布式计算为核心,为用户提供透明的底层分布式基础架构用户可以利用hadoop 轻松组织计算机资源,搭建自己的分布式计算平台,并且可以轻松的利用集群的计算和存储能力完成海量数据的处理。
2. NoSQL 如:
Memcached
Redis
MongoDB3.Spark
spark是一个围绕速度.易用性和复杂分析的大数据处理框架。