大数据有关的主要专业和发展岗位
数据科学DS
知乎
简单定义为:数据科学是从数据中提取有用知识的一系列技能和技术。
主要以统计学、机器学习、数据可视化以及(某一)领域知识为理论基础,其主要研究内容包括数据科学基础理论、数据预处理、数据计算和数据管理。
数据科学的知识体系如图1所示。
三个圆圈分别代表三个不同的领域:编程领域(语言知识、语言库、设计模式、体系结构等);数学(代数、微积分等)和统计学领域;数据领域(特定领域的知识:医疗、金融、工业等)。
数据工程
数据工程则是使用具体的工具实现数据科学的工作
Kettle(数据集成处理)
Xcelsius(数据可视化)
SPSS(数据挖掘)
IRP2000(数据资源规划)
数据分析师和大数据工程师
知乎
大数据工程师主要是偏开发层面,指的是围绕大数据系平台系统级的硏发人员,熟练
Hadoop大数据平台的核心框架,能够使用 Hadoop提供的通用算法,熟练掌握 Hadoop整个生态系统的组件如Yarn, HBase、Hⅳe、Pig等重要组件,销够现对平台监控、辅运维系统的开发。
数据分析师是指基于大数据进行数据处理分析的人员,能熟练的用适当的统计分析方法对收集来的大量数据进行分析,将它们加以汇总、理解并消化,以求最大化地开发数据的功能,发挥数据的作用。