资讯详情

资讯详情

CDH第六篇:Web 向导装集群:手把手带你点出 HDFS/YARN/Hive/Oozie

目录一、向导总览7 个页面走完一个集群二、逐屏实操详解三、安装慢/卡住的正确姿势四、装完后的第一轮健康检查五、常见问题速查六、结语与系列预告一、向导总览7 个页面走完一个集群登录 http://192.168.9.233:7180admin/admin首次进入会自动弹出集群安装向导流程为欢迎页 → 集群命名 → 选节点 → 选存储库 → Parcel 分发激活→ 环境检查 → 选服务套件 → 数据库配置 → 审核 → 启动完成之前所有命令行铺垫环境准备、MySQL、CM、Parcel 仓库都是为了此刻的纯点击操作。二、逐屏实操详解2.1 欢迎页与版本选择接受许可条款后版本选择 Cloudera Express免费版本系列全部功能够用。2.2 集群命名与节点选择集群名随意如 cdh-cluster。节点页在搜索框输入192.168.9.23[3-5]能一次框中三个节点全部勾选继续。如果只搜到部分节点回第 5 篇检查从节点 Agent 是否启动、server_host 是否指向 master。2.3 存储库与 Parcel 分发安装方式选 “使用 Parcel建议”版本下拉选 CDH-5.9.0就是我们放进本地仓库的那份接下来向导自动执行 下载 → 分发 → 激活 三个阶段。因为走的是本地仓库下载瞬间完成分发阶段约几分钟到十几分钟取决于节点磁盘 IO。2.4 环境检查这一页会把第 3 篇的准备工作全部复查一遍时间同步、swappiness、透明大页、Java 版本一致性等。检查必须全绿才能继续出现红色项不要硬闯按报错回到环境准备对应步骤修复后重新检查。2.5 选择服务套件选自定义服务勾选ZooKeeperKafka 前置依赖第 7 篇要用HDFS存储层YARN计算调度HiveSQL 层Oozie工作流调度角色分配保持默认即可NameNode 落在 masterDataNode 落在两个 slave。2.6 数据库设置服务 数据库名 主机 用户 密码Hive hive 192.168.9.233 cdh 123456Oozie oozie 192.168.9.233 cdh 123456每个连接都要点测试连接测试通过才能进下一页失败先回第 4 篇检查 cdh 账号的 ‘%’ 授权。2.7 审核与启动目录设置保持默认直接开始。向导依次在各节点部署配置并启动服务全部完成后显示恭喜。进入首页看到 HDFS/YARN/Hive/Oozie 一排绿色指示灯集群正式上线。三、安装慢/卡住的正确姿势Parcel 分发慢先看 master 的磁盘 IO 和网络不要反复刷新页面CM 的任务状态是准的某服务启动失败点进该服务 → 实例 → 日志看具体 Java 异常多数是内存不足或目录权限向导中途想重来可以中止向导修复问题后重新运行已完成的阶段不会重做四、装完后的第一轮健康检查bashmaster 上确认关键进程jps | grep -E “NameNode”slave 上确认jps | grep -E “DataNode|NodeManager”Web 端验证清单HDFS → 概览Live DataNodes 数量 2YARN → 应用能打开任务列表页Hive → 无红色告警主页右上角无未解决的健康问题五、常见问题速查现象 原因 处理搜不到从节点 Agent 未启动 / server_host 错 第 5 篇步骤 5环境检查红叉 环境准备遗漏 第 3 篇对照修复Hive 测试连接失败 cdh 账号授权/驱动 第 4 篇 第 5 篇步骤 2DataNode 数量为 0 防火墙未关 / hosts 不一致 第 3 篇步骤 2、3六、结语与系列预告到本篇为止一套完整的 Hadoop 存储计算平台已经跑起来了。但物联网架构里还缺消息队列——CDH 5.9 原生不带 Kafka下一篇用 CSD Parcel 组合把它集成进集群外加 256M 堆内存的救命调参。
觉得有用,分享给同行:

为您的企业打造数字门面

稳重轻奢商务风格,端正雅致视觉,长效耐看不易过时。

立即咨询 →