【生活现场】从电影字幕到hive工作原理解析
小史是一个非科班的程序员,虽然学的是电子专业,但是通过自己的努力成功通过了面试,现在要开始迎接新。
找到工作到正式上班之间的这段时间总是惬意的,小史决定利用这段时间把一些经典电影重温一下。
【hive简介】
吕老师:这就要说到之前提到的OLTP和OLAP的概念了,数据仓库是用来做OLAP的,注重查询分析。并且数据仓库的数据量一般比数据库要大一个数量级。
【hive工作原理】
【数据迁移sqoop】
【hive优缺点】
小史:嗯,刚刚我就一直在思考这个问题了,hive的优点很明显,它提供了一种sql的方式查询大数据,上手简单,减少了开发人员的学习成本。
【笔记】
在下载电影的过程中,小史顺便记下了今天的笔记。
1、hive是一个数据仓库,存储大数据,主要用来做OLAP分析。
2、hive底层是hdfs,它提供了sql来查询数据。
3、hive的原理是将sql翻译成map-reduce任务。
4、数据的导入导出可以用工具sqoop,原理也是把命令翻译成map-reduce任务。
小史是一个非科班的程序员,虽然学的是电子专业,但是通过自己的努力成功通过了面试,现在要开始迎接新。
找到工作到正式上班之间的这段时间总是惬意的,小史决定利用这段时间把一些经典电影重温一下。
【hive简介】
吕老师:这就要说到之前提到的OLTP和OLAP的概念了,数据仓库是用来做OLAP的,注重查询分析。并且数据仓库的数据量一般比数据库要大一个数量级。
【hive工作原理】
【数据迁移sqoop】
【hive优缺点】
小史:嗯,刚刚我就一直在思考这个问题了,hive的优点很明显,它提供了一种sql的方式查询大数据,上手简单,减少了开发人员的学习成本。
【笔记】
在下载电影的过程中,小史顺便记下了今天的笔记。
1、hive是一个数据仓库,存储大数据,主要用来做OLAP分析。
2、hive底层是hdfs,它提供了sql来查询数据。
3、hive的原理是将sql翻译成map-reduce任务。
4、数据的导入导出可以用工具sqoop,原理也是把命令翻译成map-reduce任务。