学习大数据需要的基础
java SE:
1.可以说这是Java的核心。
2.用于开发桌面应用程序和基于web的应用程序。
3.它提供了从基本对象到高级类的所有东西,这些类被用于网络、数据库访问、安全、XML解析、GUI开发。
4.除了这些核心api之外,它还提供了虚拟机(JVM)、开发工具、部署技术等。下图JavaSE的发展阶段
EE(SSM):JavaEE是java的一种,有JavaEE、JavaSE和JavaME。
SSM是框架,分别是spring、springMVC和MyBatis。
在大数据的学习中,90%的大数据框架都是java写的
MySQL:MySQL 是一种关联数据库管理系统,关联数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性
SQL on Hadoop:在SQL on Hadoop系统中,有两种架构:
1、一种是基于某个运行时框架来构建查询引擎,典型案例是Hive;
2、另一种是仿照过去关系数据库的MPP架构,就是参考过去的MPP数据库架构打造一个专门的系统,于是就有了Impala,Presto等等。
前者现有运行时框架,然后套上sql层,后者则是从头打造一个一体化的查询引擎。
对于SQL on Hadoop系统很重要的一个评价指标就是:快。
Linux:Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。大数据的框架安装在Linux操作系统上