您的位置: 首页  >  文章  >  Apache kylin安装配置

Apache kylin安装配置

分类: 文章 • 2024-07-27 18:32:10

https://www.cnblogs.com/en-heng/p/5170876.html


http://chengjianxiaoxue.iteye.com/blog/2218510


http://blog.itpub.net/31419866/viewspace-2130522/


http://blog.****.net/wzy0623/article/details/51283352

http://chengjianxiaoxue.iteye.com/blog/2218510

Apache kylin是基于 hadoop hive hbase的。

一、安装hadoop

注：需要启动 history  与 WebAppProxyServer

[html] view plain copy
  1. ./mr-jobhistory-daemon.sh start historyserver  
  2. ./yarn-daemon.sh --config $HADOOP_CONF_DIR start proxyserver    

二、安装hbase

三、安装hive

四、安装kylin

1、配置环境变量

加上kylin 的环境变量



    

  1. #java_home
    2. 

  2. export JAVA_HOME=/usr/java/jdk1.7.0_79
    3. 

  3. export JRE_HOME=$JAVA_HOME/jre
    4. 

  4. export CLASSPATH=.:$JAVA_HOME/lib:$JER_HOME/lib:$CLASSPATH
    5. 

  5. export PATH=$JAVA_HOME/bin:$JER_HOME/bin:$PATH
    6. 

    7. 

  7. ##HBASE
    8. 

  8. export HBASE_HOME=/home/lin/hbase-1.1.2
    9. 

  9. export HBASE_CONF_DIR=/home/lin/hbase-1.1.2/conf
    10. 

  10. export PATH=$PATH:$HBASE_HOME/bin
    11. 

    12. 

    13. 

  13. #hadoop_home
    14. 

  14. export HADOOP_HOME=/home/lin/hadoop-2.6.1
    15. 

  15. export HADOOP_CONF_DIR=/home/lin/hadoop-2.6.1/etc/hadoop
    16. 

  16. export YARN_CONF_DIR=/home/lin/hadoop-2.6.1/etc/hadoop
    17. 

  17. export PATH=$PATH:$HADOOP_HOME/bin
    18. 

    19. 

  19. #hive_home
    20. 

  20. export HIVE_HOME=/home/lin/apache-hive-1.2.1-bin
    21. 

  21. export HCAT_HOME=$HIVE_HOME/hcatalog
    22. 

  22. export HIVE_CONF=$HIVE_HOME/conf
    23. 

  23. export PATH=$PATH:$HIVE_HOME/bin
    24. 




生效环境变量




  1. source  /etc/profile







2、配置kylin.properties      




    

  1. 
# List of web servers in use, this enables one web server instance to sync up with other servers.

    2. 

  2. kylin.rest.servers=192.168.0.222:7070
    3. 




这里可以配置多个，用逗号分隔。




    

  1. # Kylin server mode, valid value [all, query, job]
    2. 

  2. kyin.server.mode=all
    3. 




这里可以使用all，job或者query。








    

  1. 
# Hive database name for putting the intermediate flat tables
    2. 

  2. kylin.job.hive.database.for.intermediatetable=lin
    3. 








3、检查环境




  1. bin/check-env.sh



4、启动kylin




  1. bin/kylin.sh start



5、停止kylin




  1. bin/kylin.sh stop



注：访问时候使用 ip:7070  ;  ADMIN/KYLIN









五：数据准备





使用kylin给的demo。执行bin里面的






  1. [[email protected] bin]# ./sample.sh 





出现如下语句，证明创建成功






    

  1. Sample cube is created successfully in project 'learn_kylin'.
    2. 

  2. Restart Kylin server or reload the metadata from web UI to see the change.
    3. 






生成准备数据，需要重启kylin。重启后会有项目 learn_kylin。



查看hive






    

  1. hive> show tables;
    2. 

  2. OK
    3. 

  3. kylin_cal_dt
    4. 

  4. kylin_category_groupings
    5. 

  5. kylin_country
    6. 

  6. kylin_sales
    7. 

  7. Time taken: 1.952 seconds, Fetched: 4 row(s)
    8. 






证明已经成功。



表关系如下：



Apache kylin安装配置













六、在kylin上进行数据建模





执行kylin的demo后，重启kylin后 会有demo所包含的 project  model cube 自己只用运行就行了。下面只是我做的一个例子，仅供步骤参考：



1、建立项目： 点击左上方的+号新建项目 user_info;











Apache kylin安装配置















2、同步hive的数据源：在model中选择Data Source ，同步数据源



Apache kylin安装配置











3、建立数据模型model：选择new model。命名model 选择table



选择维度数据：



Apache kylin安装配置







4、建立数据cube：



 （1）选择之前建立的model，自己填写cube name，其中邮箱填写后可以收到相关通知信息，通知消息类型在下面选择。

Apache kylin安装配置







（2）设计维度：



add demension。选择normal。建立维度。

Apache kylin安装配置







（3）设计指标



+measure。

Apache kylin安装配置





（4）其他参数设置，合并时间，保留时间等







Apache kylin安装配置





七、执行建模数据





1、在cube开面可以看到刚刚建立的cube，在action里面选择build

Apache kylin安装配置

2、在monitor里面可以查看job运行状态



Apache kylin安装配置







3、成功后，在cube界面，可以看到ready的cube，查看他的详细信息。



Apache kylin安装配置





然后在页面可以进行查询


															

																					

								

									相关推荐