Hive介绍

1、hive概述

        a、fackbook开源的处理海量结构化数据的数据分析框架。

        b、数据仓库，开源接入多种数据源

             1、使用HQL作为查询接口

             2、使用hdfs存储

             3、使用mapreduce计算

      c、本质:将hql转化成mapreduce程序

      d、优点:

             1、直接写hql，使用门槛低。

             2、统一的元数据管理，可以与impala/spark共享元数据

             3、灵活、易扩展:支持自定义函数(UDF)、支持多种存储格式

     e、使用场景

            离线数据处理，如：日志分析

2、hive系统架构

     a、client

           CLI（hive shell）、JDBC/ODBC(java或其他编程语言访问hive)、WEBUI(浏览器访问hive)

     b、元数据管理: meta store

          1、元数据:表名、表所属的数据库(默认是default)、表的拥有者、列/分区字段、列的类型、表数据存储目录

          2、元数据默认存储在hive内置的derby数据库中，推荐使用Mysql存储

    c、Hadoop:使用MapReduce计算，使用HDFS存储

    d、四大神器:驱动器(解析器、编译器、优化器、执行器)

          1、解析器:将hql转化成抽象语法书AST（antlr.jar）

          2、编译器:将AST编译成逻辑执行计划

          3、优化器:多逻辑执行计划进行优化

          4、执行器:将逻辑执行计划转化成物理执行计划，放到MR/Tez/Spark中进行运行