Apache Kylin的CDH部署

Apache Kylin

Apache Kylin是一个开源的分布式分析引擎,最初由eBay开发贡献至开源社区。它提供Hadoop之上的SQL查询接口及多维分析(MOLAP)能力以支持大规模数据,能够处理TB乃至PB级别的分析任务,能够在亚秒级查询巨大的Hive表,并支持高并发。

Kylin的安装

需要预先部署CDH集群,并在kylin官网下载Kylin的安装包
环境如下:

  • CDH 5.10.0
  • apache-kylin-1.6.0-cdh5.7-bin

下载并解压到opt目录下

1
2
tar zvxf apache-kylin-1.6.0-cdh5.7-bin.tar -C /opt
mv /opt/apache-kylin-1.6.0-cdh5.7-bin /opt/kylin-1.6.0

配置环境变量/etc/profile

1
2
export KYLIN_HOME=/opt/kylin-1.6.0
export HCAT_HOME=/opt/cloudera/parcels/CDH/lib/hive-hcatalog

配置kylin.properties

1
2
3
4
5
6
7
8
# 修改以下内容
kylin.hive.client=beeline
kylin.hive.beeline.params=-n hive --hiveconf hive.security.authorization.sqlstd.confwhitelist.append='mapreduce.job.*|dfs.*' -u 'jdbc:hive2://hadoop00:10000'
# 增加以下内容
kylin.job.jar=/opt/kylin-1.6.0/lib/kylin-job-1.6.0.jar
kylin.coprocessor.local.jar=/opt/kylin-1.6.0/lib/kylin-coprocessor-1.6.0.jar
kylin.job.yarn.app.rest.check.status.url=http://master:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH/lib/sentry/lib

安装完毕后进行环境检查

1
2
3
/opt/kylin-1.6.0/bin/find-hive-dependency.sh
/opt/kylin-1.6.0/bin/find-hbase-dependency.sh
/opt/kylin-1.6.0/bin/check-env.sh

导入测试项目

1
/opt/kylin-1.6.0/bin/sample.sh

启动Kylin

1
/opt/kylin-1.6.0/bin/kylin.sh start

Web访问默认在7070端口
登录后台:http://hadoop00:7070/kylin
默认账号密码:ADMIN/KYLIN

Kylin安装遇到的问题和解决方案

kylin.properties中配置的HDFS路径需要提供访问权限,有两种途径解决这个问题:

  1. 将dfs.permissions设置为false
  2. 使用Hue将HDFS下的/kylin目录设置为777的访问权限

Cube构建出错:
java.lang.ClassNotFoundException: org.apache.hadoop.hive.serde2.typeinfo.TypeInfo
解决方案:
在kylin.properties中添加

1
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH/lib/sentry/lib

评论