1. 为什么CDH 6.1.0之后装Kylin成了“高危操作”在某公司数据平台升级项目里我接手了一个看似常规的任务在刚完成的CDH 6.1.0集群上部署Apache Kylin。当时团队里没人觉得这会是个坑——毕竟Kylin官网文档写着“支持CDH 6.x”社区帖子里也有人晒过截图。结果从第一天起整个部署过程就像在拆一颗多引信定时炸弹Hive元数据连不上、Spark任务反复失败、Kylin Web UI启动后立刻报500错误日志里密密麻麻全是ClassNotFoundException和NoClassDefFoundError。最讽刺的是用完全相同的安装包、配置脚本在CDH 5.16.2上三小时就跑通了Cube构建换到6.1.0连续五天卡在“Kylin服务能启但查不了表”这个状态。问题根源不在Kylin本身而在于CDH 6.1.0这场静默革命。它不是一次平滑升级而是一次底层依赖的全面重铸Hadoop 3.0取代了2.xSpark从2.2跃升至2.4Hive 2.1被Hive 3.1替代更关键的是——Cloudera彻底移除了对Apache原生组件的“兼容性兜底”。过去CDH 5.x时代Cloudera会把Hive、Spark等组件打上自己的补丁包再封装一层适配层让第三方工具比如Kylin能通过标准接口调用到了6.1.0他们转向“上游对齐”策略直接采用Apache官方发布的二进制包只做最小化安全加固和监控集成。这意味着Kylin所依赖的那些“约定俗成”的类路径、配置项命名、甚至序列化协议全都在CDH 6.1.0里被悄悄改写了。举个最典型的例子Kylin 3.1.x默认通过hive-site.xml里的hive.metastore.uris连接Hive Metastore这在CDH 5.x里指向一个Thrift服务地址如thrift://cdh5-master:9083。但在CDH 6.1.0中Cloudera默认启用了Hive on Tez并将Metastore强制绑定到Kerberos认证的SASL通道原始Thrift地址直接失效。如果你没在Kylin配置里显式指定kylin.source.hive.clientbeeline并重写JDBC URLKylin就会用老方式去连结果连Socket都建不起来日志里却只显示一句模糊的Failed to get database default。这背后是两个生态体系的错位Kylin作为Apache顶级项目其版本迭代节奏由社区投票决定每个大版本都要兼顾Hadoop 2.x/3.x、Spark 2.x/3.x、Hive 2.x/3.x的兼容矩阵而CDH 6.1.0作为商业发行版它的组件选型逻辑是“稳定性压倒一切”宁可牺牲部分新特性也要确保企业级SLA。当Kylin 3.1.2发布于2020年遇上CDH 6.1.0发布于2019年表面看都是“6.x/3.x”实际是两套独立演进的依赖树在强行嫁接。所以所谓“CDH6.1.0后安装Kylin”本质不是安装问题而是一场跨生态版本对齐的精密手术——你得像解剖医生一样一层层剥离CDH 6.1.0的组件封装找到Kylin真正需要的“裸金属”接口再用胶水代码把它们重新粘合。提示别信官网文档的“支持CDH 6.x”这种宽泛表述。打开Kylin源码里的pom.xml搜索cdh关键字你会发现所有CDH相关profile都只定义到cdh5.16根本没有cdh6的构建配置。这意味着Kylin官方从未为CDH 6.x做过编译时适配所有成功案例都是用户自己在运行时硬调出来的。2. CDH 6.1.0的三大“隐形断点”与Kylin的对应破解方案要让Kylin在CDH 6.1.0上活下来必须精准定位三个最关键的“生态断点”。这些断点不会在安装文档里明说但每踩一个Kylin就会失去一项核心能力。我花了72小时逐行比对CDH 5.16和6.1.0的组件差异最终锁定以下三处2.1 断点一Hive Metastore通信协议从Thrift直连切换为SASL加密通道CDH 6.1.0默认启用Hive 3.1的严格安全模式Metastore不再接受未认证的Thrift连接。Kylin 3.1.x默认使用的org.apache.hive.jdbc.HiveDriver即旧版Hive JDBC无法处理SASL握手导致kylin.source.hive.clientcli模式彻底失效。破解方案强制Kylin使用Beeline客户端并注入Kerberos凭证第一步确认CDH集群的Kerberos配置# 在CDH管理界面导出krb5.conf或从任意节点获取 cat /etc/krb5.conf | grep -E (default_realm|kdc|admin_server) # 典型输出default_realm CDH6.LOCAL, kdc cdh6-kdc.cdh6.local第二步修改Kylin的$KYLIN_HOME/conf/kylin.properties# 关键禁用旧版Hive CLI启用Beeline kylin.source.hive.clientbeeline # 指向CDH 6.1.0的HiveServer2地址注意端口是10000不是9083 kylin.source.hive.beeline-urljdbc:hive2://cdh6-master:10000/default;principalhive/cdh6-masterCDH6.LOCAL # 指定Kerberos keytab路径需提前分发到所有Kylin节点 kylin.source.hive.beeline-keytab/etc/security/keytabs/hive.service.keytab kylin.source.hive.beeline-principalhive/cdh6-masterCDH6.LOCAL第三步验证Beeline连通性在Kylin节点执行# 切换到Kylin运行用户如kylin sudo -u kylin beeline -u jdbc:hive2://cdh6-master:10000/default;principalhive/cdh6-masterCDH6.LOCAL \ --keytab /etc/security/keytabs/hive.service.keytab \ --principal hive/cdh6-masterCDH6.LOCAL # 成功后应看到Beeline提示符执行show databases;验证注意很多教程让你改hive-site.xml里的hive.metastore.uris这在CDH 6.1.0里是无效的。因为Kylin的Beeline模式根本不读这个配置它只认自己kylin.properties里写的URL和principal。我曾在这里浪费16小时直到抓包发现Kylin进程根本没向9083端口发请求。2.2 断点二Spark 2.4的Shuffle Manager从HashShuffleManager升级为SortShuffleManager导致Kylin Cube构建阶段OOMKylin 3.1.x的Cube构建引擎深度依赖Spark的Shuffle机制。CDH 5.16的Spark 2.2默认用HashShuffleManager内存占用低但磁盘IO高CDH 6.1.0的Spark 2.4强制启用SortShuffleManager它要求每个Task至少有32MB内存用于排序缓冲区。而Kylin默认的kylin.engine.spark.rdd-partition-cut-mb500参数在CDH 6.1.0下会让单个Partition数据量暴增触发Spark的java.lang.OutOfMemoryError: GC overhead limit exceeded。破解方案重构Spark内存分配模型并降级Shuffle策略首先计算CDH 6.1.0集群的真实可用内存# 查看YARN NodeManager配置CDH管理界面 → YARN → 配置 → 搜索yarn.nodemanager.resource.memory-mb # 假设值为32768MB32GB则单个Container最大内存32768 * 0.8 26214MB预留20%给系统然后修改Kylin的$KYLIN_HOME/conf/kylin_engine_spark_conf.xml!-- 关键覆盖CDH 6.1.0的默认Spark配置 -- property namespark.shuffle.manager/name valuehash/value !-- 强制回退到HashShuffle避免SortShuffle的内存陷阱 -- /property property namespark.executor.memory/name value16g/value !-- 设为NodeManager可用内存的60%留足余量 -- /property property namespark.executor.memoryFraction/name value0.6/value !-- Spark堆内内存占比CDH 6.1.0默认0.8太高 -- /property property namespark.sql.adaptive.enabled/name valuefalse/value !-- 关闭Spark 3.0的自适应查询优化Kylin 3.1不兼容 -- /property最后调整Kylin自身的分区参数$KYLIN_HOME/conf/kylin.properties# 将默认500MB大幅下调匹配HashShuffle的低内存特性 kylin.engine.spark.rdd-partition-cut-mb100 # 启用Kylin 3.1.2的修复补丁需手动下载 kylin.engine.spark.use-kylin-spark-udftrue实测对比同一张10亿行事实表在CDH 5.16上用默认参数Cube构建耗时22分钟在CDH 6.1.0上若不改Shuffle Manager构建到70%时必然OOM崩溃应用上述配置后耗时降至28分钟且全程内存稳定在12GB以下。2.3 断点三HBase 2.1的Coprocessor加载机制变更导致Kylin Query Server无法注册协处理器Kylin的实时查询依赖HBase的Endpoint Coprocessor加速聚合计算。CDH 5.16的HBase 1.2允许通过hbase.coprocessor.region.classes配置项动态加载Jar但CDH 6.1.0的HBase 2.1引入了严格的类加载隔离要求Coprocessor Jar必须放在HBase RegionServer的lib目录下且类名必须符合org.apache.kylin.storage.hbase.cube.v2.coprocessor.endpoint.*的完整包路径。破解方案手工注入Coprocessor Jar并修正HBase配置第一步定位Kylin的Coprocessor Jar# Kylin 3.1.2的Coprocessor Jar位于 ls $KYLIN_HOME/lib/kylin-storage-hbase-*-coprocessor.jar # 典型路径/opt/kylin/apache-kylin-3.1.2-bin/lib/kylin-storage-hbase-3.1.2-coprocessor.jar第二步将Jar复制到所有HBase RegionServer节点的lib目录# 在CDH管理界面查看RegionServer节点列表假设为rs1, rs2, rs3 for node in rs1 rs2 rs3; do scp $KYLIN_HOME/lib/kylin-storage-hbase-3.1.2-coprocessor.jar \ $node:/opt/cloudera/parcels/CDH/lib/hbase/lib/ done第三步修改HBase的hbase-site.xmlCDH管理界面 → HBase → 配置 → 高级!-- 删除旧的coprocessor配置只保留这一行 -- property namehbase.coprocessor.region.classes/name valueorg.apache.kylin.storage.hbase.cube.v2.coprocessor.endpoint.CubeVisitService,org.apache.kylin.storage.hbase.cube.v2.coprocessor.endpoint.CubeScanService/value /property第四步最关键的一步重启HBase RegionServer时必须勾选“滚动重启”选项。如果直接全量重启HBase会清空WAL日志导致正在构建的Cube数据丢失。CDH 6.1.0的滚动重启会逐台停启RegionServer保证服务不中断。警告千万别用hbase coprocessor add命令CDH 6.1.0的HBase Shell已移除该命令执行会报ERROR: NoMethodError (undefined method add for #HBase::Admin:0x...)。所有Coprocessor注册必须通过配置文件滚动重启完成。3. Kylin 3.1.2与CDH 6.1.0的“黄金组合”配置清单经过23次完整部署测试覆盖不同规模集群我提炼出一套在CDH 6.1.0上稳定运行Kylin 3.1.2的最小化配置清单。这不是理论推导而是实测中唯一能通过全部功能验证Metadata加载、Cube构建、SQL查询、Dashboard渲染的配置组合。3.1 Kylin核心配置文件$KYLIN_HOME/conf/kylin.properties以下配置必须逐字复制任何参数微调都可能导致特定功能失效# 基础服务配置 kylin.server.modeall kylin.server.cluster-serverscdh6-master:7070,cdh6-worker1:7070,cdh6-worker2:7070 kylin.web.timezoneGMT8 # Hive数据源配置CDH 6.1.0专用 kylin.source.hive.clientbeeline kylin.source.hive.beeline-urljdbc:hive2://cdh6-master:10000/default;principalhive/cdh6-masterCDH6.LOCAL kylin.source.hive.beeline-keytab/etc/security/keytabs/hive.service.keytab kylin.source.hive.beeline-principalhive/cdh6-masterCDH6.LOCAL kylin.source.hive.database-for-flat-tablekylin_flat_tables # Spark引擎配置CDH 6.1.0专用 kylin.engine.spark.rdd-partition-cut-mb100 kylin.engine.spark.max-concurrent-jobs4 kylin.engine.spark.use-kylin-spark-udftrue kylin.engine.spark.conf-file$KYLIN_HOME/conf/kylin_engine_spark_conf.xml # HBase存储配置CDH 6.1.0专用 kylin.storage.hbase.hbase-conf-dir/etc/hbase/conf kylin.storage.hbase.hbase-client-heap-size8g kylin.storage.hbase.region-count-min10 kylin.storage.hbase.region-count-max50 # 查询优化配置解决CDH 6.1.0的JDBC驱动冲突 kylin.query.jdbc-driver-class-nameorg.apache.hive.jdbc.HiveDriver kylin.query.jdbc-urljdbc:hive2://cdh6-master:10000/default;principalhive/cdh6-masterCDH6.LOCAL kylin.query.jdbc-usernamekylin kylin.query.jdbc-passwordkylin3.2 Spark专属配置文件$KYLIN_HOME/conf/kylin_engine_spark_conf.xml此文件必须严格按以下结构编写CDH 6.1.0的Spark 2.4对XML格式异常敏感?xml version1.0? ?xml-stylesheet typetext/xsl hrefconfiguration.xsl? configuration !-- Spark基础配置 -- property namespark.master/name valueyarn/value /property property namespark.submit.deployMode/name valuecluster/value /property property namespark.yarn.queue/name valuedefault/value /property !-- 内存与Shuffle关键配置 -- property namespark.shuffle.manager/name valuehash/value /property property namespark.executor.memory/name value16g/value /property property namespark.driver.memory/name value4g/value /property property namespark.executor.memoryFraction/name value0.6/value /property property namespark.sql.adaptive.enabled/name valuefalse/value /property !-- CDH 6.1.0特有兼容配置 -- property namespark.hadoop.yarn.resourcemanager.principal/name valuerm/_HOSTCDH6.LOCAL/value /property property namespark.hadoop.hbase.zookeeper.quorum/name valuecdh6-zk1,cdh6-zk2,cdh6-zk3/value /property property namespark.hadoop.hbase.zookeeper.property.clientPort/name value2181/value /property /configuration3.3 HBase服务端配置CDH管理界面操作步骤在CDH管理界面中必须按以下顺序操作缺一不可进入HBase服务配置页→ 搜索hbase-site.xml→ 点击“高级”选项卡清空所有hbase.coprocessor.*相关配置项旧配置会与新Coprocessor冲突添加新属性属性名hbase.coprocessor.region.classes值org.apache.kylin.storage.hbase.cube.v2.coprocessor.endpoint.CubeVisitService,org.apache.kylin.storage.hbase.cube.v2.coprocessor.endpoint.CubeScanService保存更改→ 点击“部署客户端配置”返回HBase服务页→ 点击“操作” → 选择“滚动重启RegionServers”等待所有RegionServer状态变为“健康”约3-5分钟注意CDH 6.1.0的“滚动重启”按钮在界面上非常隐蔽它藏在RegionServer实例列表右上角的“更多操作”下拉菜单里不是主操作栏的“重启”。我曾因找不到这个按钮误点了全量重启导致线上Cube查询中断47分钟。4. 从零开始的CDH 6.1.0 Kylin 3.1.2部署全流程含避坑细节现在把所有碎片知识整合成一条可执行的流水线。这不是理想化的步骤列表而是我在生产环境踩过所有坑后总结的“防错指南”。每一步都标注了CDH 6.1.0特有的陷阱和绕过方法。4.1 环境准备阶段必须验证的5个前置条件在下载Kylin安装包前先用以下命令验证CDH 6.1.0集群状态。任何一项失败后续安装必崩# 1. 验证Kerberos票据有效性在Kylin计划部署节点执行 kinit -kt /etc/security/keytabs/kylin.service.keytab kylin/cdh6-masterCDH6.LOCAL klist # 应显示有效票据有效期≥24小时 # 2. 验证HiveServer2连通性用Kylin用户身份 sudo -u kylin beeline -u jdbc:hive2://cdh6-master:10000/default;principalhive/cdh6-masterCDH6.LOCAL \ --keytab /etc/security/keytabs/hive.service.keytab \ --principal hive/cdh6-masterCDH6.LOCAL -e show databases; | grep kylin_flat_tables # 3. 验证HBase RegionServer状态CDH管理界面 → HBase → 实例 # 必须看到所有RegionServer状态为Healthy且Region Count 0 # 4. 验证YARN资源可用性CDH管理界面 → YARN → 资源池 # default队列的Max Resources必须 ≥ 32768 MB32GB否则Spark Executor无法启动 # 5. 验证ZooKeeper连接在Kylin节点执行 echo stat | nc cdh6-zk1 2181 | grep Mode # 应返回Mode: follower或Mode: leader提示CDH 6.1.0的Kerberos票据默认有效期只有10小时而Kylin构建Cube可能持续12小时以上。必须在krb5.conf里添加renew_lifetime 7d并在Kylin启动脚本中加入kinit -R自动续期命令否则构建中途票据过期日志里只会显示模糊的Connection refused。4.2 Kylin安装与初始化四步不可逆操作Kylin的安装不是解压即用CDH 6.1.0要求四个关键动作必须按顺序执行跳过任一环节都会导致服务无法启动第一步解压并预配置Kylin# 下载Kylin 3.1.2必须用3.1.23.1.1在CDH 6.1.0上有Classloader Bug wget https://archive.apache.org/dist/kylin/apache-kylin-3.1.2/apache-kylin-3.1.2-bin-hadoop3.tar.gz tar -zxvf apache-kylin-3.1.2-bin-hadoop3.tar.gz -C /opt/ ln -s /opt/apache-kylin-3.1.2-bin-hadoop3 /opt/kylin # 创建Kylin专用用户和目录 useradd -m kylin chown -R kylin:kylin /opt/kylin mkdir -p /var/log/kylin chown kylin:kylin /var/log/kylin第二步注入CDH 6.1.0专属配置文件# 替换默认配置 cp /opt/kylin/conf/kylin.properties /opt/kylin/conf/kylin.properties.bak cp /opt/kylin/conf/kylin_engine_spark_conf.xml /opt/kylin/conf/kylin_engine_spark_conf.xml.bak # 将3.1节的配置内容分别写入两个文件 # 此处省略具体写入命令实际操作中需用vi或sed精确替换第三步初始化Kylin元数据关键必须用CDH 6.1.0的Hive JDBC# 切换到Kylin用户 sudo -u kylin bash # 进入Kylin目录 cd /opt/kylin # 执行初始化注意必须指定--hive-jdbc-url参数否则用默认Hive 1.x驱动 ./bin/kylin.sh org.apache.kylin.tool.KylinTool \ --hive-jdbc-url jdbc:hive2://cdh6-master:10000/default;principalhive/cdh6-masterCDH6.LOCAL \ --hive-keytab /etc/security/keytabs/hive.service.keytab \ --hive-principal hive/cdh6-masterCDH6.LOCAL \ --action init # 初始化成功标志日志末尾出现Initialize metadata successfully第四步启动Kylin服务并验证Web UI# 启动Kylin后台运行 ./bin/kylin.sh start # 等待60秒检查进程 ps -ef | grep kylin | grep -v grep # 应看到KylinServer和QueryServer进程 # 检查Web UI端口默认7070 curl -I http://cdh6-master:7070/kylin/api/user 2/dev/null | head -1 # 应返回HTTP/1.1 200 OK # 登录Web UI默认账号admin/KYLIN进入System → Configuration页 # 检查kylin.source.hive.beeline-url是否显示为你配置的URL警告初始化元数据时若不加--hive-jdbc-url参数Kylin会用内置的Hive 1.2.1 JDBC驱动导致kylin_metadata库创建失败后续所有操作都会报Table kylin_metadata doesnt exist。这个错误在CDH 6.1.0日志里不会明确提示只能在HiveServer2的hiveserver2.log里搜索CREATE DATABASE IF NOT EXISTS kylin_metadata才能发现。4.3 首个Cube构建实战从建模到查询的端到端验证用一个真实场景验证整套配置基于CDH 6.1.0自带的sample_07表构建Cube这是检验所有链路是否打通的终极测试。Step 1在Kylin Web UI创建Model进入Model → New ModelData Source选择default.sample_07确保Hive Beeline连接正常Dimension选择code,descriptionMeasure选择total_emp,salarySum聚合Partition Date Column留空非时间分区表点击SaveStep 2创建Cube并提交构建进入Cube → New Cube选择刚创建的Model在Advanced Setting中将Spark Configuration的RDD Partition Size改为100对应rdd-partition-cut-mb100点击Submit → Build → 选择Full BuildStep 3监控构建日志关键诊断点# 实时查看Kylin构建日志 tail -f /var/log/kylin/kylin.log | grep -E (Spark|Cube|ERROR) # 正常流程应看到 # [INFO] Submitting Spark job... # [INFO] Spark job ID: application_1600000000000_0001 # [INFO] Cube build finished successfully # 若卡在Submitting Spark job...超5分钟立即检查 # 1. YARN ResourceManager日志/var/log/hadoop-yarn/yarn/yarn-yarn-resourcemanager-*.log # 2. Spark History Server UIhttp://cdh6-master:18080查看application状态Step 4执行SQL查询验证-- 在Kylin Web UI的Insight页执行 SELECT code, SUM(total_emp) as emp_sum FROM sample_07 GROUP BY code ORDER BY emp_sum DESC LIMIT 10成功标志返回结果时间3秒且执行计划显示Using Cube: sample_07_cube失败典型返回Error while compiling statement: FAILED: SemanticException [Error 10004]: Line 1:7 Invalid table alias or column reference code—— 这说明Hive Metastore连接失败需回头检查Beeline配置经验首次构建Cube时务必在CDH管理界面打开YARN的Applications页实时观察Application状态。CDH 6.1.0的YARN Resource Manager对Spark Application的资源申请有严格超时控制默认300秒如果Spark配置中的spark.executor.memory超过NodeManager可用内存Application会卡在ACCEPTED状态直至超时Kylin日志里却只显示Waiting for Spark job...。此时必须立即在YARN UI点击Kill Application否则Kylin服务会一直阻塞。5. 生产环境必须实施的7项加固措施Kylin在CDH 6.1.0上跑通只是起点要扛住生产流量还需7项硬核加固。这些不是可选项而是我在某金融客户集群上线后因未实施其中某项导致服务中断的血泪教训。5.1 Kylin服务高可用双节点Active-Standby模式CDH 6.1.0的Kylin默认单点部署一旦节点宕机整个OLAP服务中断。必须配置双节点热备配置步骤在第二台服务器cdh6-worker1同样安装Kylin 3.1.2配置完全一致修改两台机器的kylin.properties# cdh6-master节点 kylin.server.modeactive kylin.server.cluster-serverscdh6-master:7070,cdh6-worker1:7070 # cdh6-worker1节点 kylin.server.modestandby kylin.server.cluster-serverscdh6-master:7070,cdh6-worker1:7070启动顺序先启cdh6-masteractive再启cdh6-worker1standby验证访问http://cdh6-master:7070/kylin/api/server/health返回{status:OK,mode:active}访问http://cdh6-worker1:7070/kylin/api/server/health返回{status:OK,mode:standby}注意CDH 6.1.0的ZooKeeper必须启用ACL权限控制否则Standby节点无法监听Active节点的心跳。在zoo.cfg中添加authProvider.1org.apache.zookeeper.server.auth.SASLAuthenticationProvider并重启ZooKeeper。5.2 Cube构建资源隔离为Kylin创建专用YARN队列避免Kylin Spark任务抢占其他业务资源必须在YARN中划出独立队列CDH管理界面操作进入YARN → 配置 → 搜索yarn.scheduler.capacity.root.queues将值改为default,kylin新增kylin队列新增配置项yarn.scheduler.capacity.root.kylin.capacity30分配30%集群资源新增配置项yarn.scheduler.capacity.root.kylin.maximum-capacity50最大可扩至50%保存并部署客户端配置重启YARN ResourceManager然后修改Kylin的kylin.propertieskylin.engine.spark.conf-file$KYLIN_HOME/conf/kylin_engine_spark_conf.xml # 在kylin_engine_spark_conf.xml中添加 # propertynamespark.yarn.queue/namevaluekylin/value/property5.3 查询熔断机制防止慢查询拖垮整个集群Kylin默认无查询超时限制一个复杂SQL可能占满所有QueryServer线程。必须启用熔断修改$KYLIN_HOME/conf/kylin.properties# 查询超时秒 kylin.query.timeout-second300 # 最大并发查询数按QueryServer CPU核心数*2设置 kylin.query.max-concurrent-queries16 # 启用查询限流CDH 6.1.0必须开启否则HiveServer2会拒绝连接 kylin.query.enable-throttletrue kylin.query.throttle-window-ms60000 kylin.query.throttle-limit-per-window100实测某次上线后一个开发误执行SELECT * FROM huge_table因未设熔断QueryServer线程池被占满导致所有Dashboard刷新失败。启用上述配置后该查询在300秒后自动终止其他查询不受影响。5.4 日志归档策略避免Kylin日志撑爆磁盘CDH 6.1.0的Kylin日志默认不轮转一个月就能生成50GB日志。必须配置Log4j2自动归档修改$KYLIN_HOME/conf/kylin-server-log4j2.xml!-- 替换原有的RollingFile Appender -- RollingFile nameRollingFile fileName${sys:kylin.logs.dir}/kylin.log filePattern${sys:kylin.logs.dir}/$${date:yyyy-MM}/kylin-%d{MM-dd-yyyy}-%i.log.gz PatternLayout Pattern%d{ISO8601} [%t] %-5p %c{1} - %m%n/Pattern /PatternLayout Policies TimeBasedTriggeringPolicy / SizeBasedTriggeringPolicy size500 MB/ /Policies DefaultRolloverStrategy max30/ /RollingFile5.5 安全加固关闭Kylin的危险API端点Kylin默认开放一些调试API在CDH 6.1.0的Kerberos环境下可能成为攻击入口在$KYLIN_HOME/conf/kylin.properties中禁用# 关闭元数据导出防止敏感表结构泄露 kylin.rest.meta-export-enabledfalse # 关闭Cube构建调试防止恶意触发资源消耗 kylin.rest.cube-build-debug-enabledfalse # 关闭HBase直接操作防止绕过Kylin权限控制 kylin.rest.hbase-direct-enabledfalse5.6 监控集成将Kylin指标接入CDH 6.1.0的Cloudera Manager让Kylin的健康状态在CDH管理界面一目了然步骤在CDH管理界面 → Cloudera Manager → 配置 → 搜索custom_metrics添加新属性custom_metrics_json_path/opt/kylin/conf/kylin_cm_metrics.json创建/opt/kylin/conf/kylin_cm_metrics.json内容为{ kylin_query_count: {type: counter, help: Total number of queries}, kylin_cube_building: {type: