简介面向大数据初学者与需要动手搭建分布式环境的开发者这份资料围绕Hadoop集群部署与MapReduce程序开发结构上分为部署、开发、总结三大模块。部署部分完整覆盖从虚拟机安装Ubuntu Kylin系统、更新apt、配置SSH免密登录、安装Java环境到集群网络配置、节点角色分配、分布式环境搭建及运行实例的全流程开发部分则包含Eclipse环境安装、插件配置、HDFS文件操作、MapReduce项目创建与程序运行等完整步骤。文档中每一步均配有完整代码片段与必要说明注重实操性即使不熟悉Linux命令也可以按步骤完成环境搭建并为后续学习HDFS、HBase等组件打下基础。整包共一个文档文件大小约12.37MB目录以模块化方式组织步骤清晰适合按图索骥式参考。任务三还集中总结了集群启动及运行中常见的网络路由异常、拉取失败、内存溢出以及DataNode未启动等问题并给出作者的排错思路和设置建议能有效减少新手摸索时间。目前已有1047人学习下载是适合自学、课程设计与项目前期准备的Hadoop实操性参考资料。1. Hadoop集群搭建部署与MapReduce个性化开发一道课程设计题背后的三个分水岭“Hadoop集群搭建部署与MapReduce程序关键点个性化开发”这类题目在课程设计、毕业设计和HDFS与MapReduce综合实训里出现频率极高。但真跟着标题做下来的人会发现搭集群不是解压安装包后改几个配置文件就完事写MapReduce也不是把一个WordCount跑通就达标。多数人卡在两个点上——集群启动后DataNode数量永远比预期少一个以及代码在IDE里本地运行正常打包提交到Yarn上就报ClassNotFoundException。这篇笔记把节点规划、核心配置、作业开发的关键点串成一条可以照着复现的路线再把常见翻车现场按“现象—原因—解决”拆开。适合正在做Hadoop集群搭建、MapReduce编程实例或者准备接手一套存量集群的读者。2. 集群搭建前夜的底子节点角色规划、JDK版本匹配与SSH互通搭建集群这件事最容易返工的不是安装过程而是动手之前没想清楚角色和版本。这三样定下来后面的配置文件都只是往里填主机名和端口。2.1 节点角色怎么分配三节点比伪分布式更适合起步很多人习惯先用hadoop伪分布式搭建把流程跑通再考虑扩展。伪分布式确实能让你最快看到NameNode和DataNode同时启动在同一台机器上但问题是它掩盖了集群环境的一半问题hosts写错也能跑、内存不够也能启动、SSH不通也能提交作业。等伪分布式一切正常再转真集群相当于所有配置推倒重写一遍。我的建议是如果目标就是标题里的“集群搭建部署”直接按三节点起步不要走伪分布式绕路。三节点是最小可用集群角色分配也简单清晰。常见做法是一台主节点负责调度入口一台辅助节点承担NameNode的检查点与作业历史剩下的从节点专心存数据和跑计算任务。下面这张表是我自己搭三节点集群时的标准分工后续加机器只需要复制从节点的配置再改主机名。节点常驻进程职责hadoop-node01NameNode、ResourceManager元数据入口、资源调度hadoop-node02SecondaryNameNode、JobHistoryServer合并编辑日志、记录作业历史hadoop-node03DataNode、NodeManager数据块存储、容器执行如果只有两台物理机可以把SecondaryNameNode合并到主节点但不建议把NameNode和DataNode长期放在同一个节点上。两者对磁盘和内存的占用形态完全不同混在一起会让单机成为瓶颈数据安全问题也不好解释。课程设计也许会给你一台机器但只要你手里有两台以上资源就按这个角色表分配。2.2 JDK与Hadoop版本匹配选错组合的第一个坑版本匹配是大家最常跳过的步骤也是第一个埋雷点。Hadoop 2.x和3.x之间不仅是版本号差异端口、配置键名、默认参数都有变动。以当前主流组合来说Hadoop 3.3.x搭配JDK 8是最稳的选择网上绝大多数教程、参数说明和踩坑记录都能对上号。如果你手里是Hadoop 2.7.x那JDK 7或者较老的JDK 8才合适直接用JDK 11启动会出现UnsupportedClassVersionError这类问题在jps阶段看不出来要读到日志才能定位。另一个容易忽略的是发行版和架构。以Apache社区版为主就行它没有复杂授权问题去Hadoop官网下载二进制包解压就能用。但如果你的机器是ARM架构官方tarball里有些native库起不来启动时会出现类似“cannot execute binary file”的提示。处理办法要么换一台x86的机器要么找对应架构的预编译包别在启动阶段反复纠结。2.3 hosts映射与SSH免密配置让启动脚本不卡在密码上集群脚本start-dfs.sh是通过SSH远程到各节点执行进程启动命令的。如果免密没配好脚本会在某个节点停下来等输入密码看起来像启动卡死。先在所有节点配置hosts把三台机器的IP和主机名对应关系写清楚然后主节点生成公钥并分发。# 所有节点都要写入一样的hosts映射 cat /etc/hosts EOF 192.168.10.21 hadoop-node01 192.168.10.22 hadoop-node02 192.168.10.23 hadoop-node03 EOF # 主节点生成密钥分发到所有节点包括自己 ssh-keygen -t rsa -P -f ~/.ssh/id_rsa ssh-copy-id hadoop-node01 ssh-copy-id hadoop-node02 ssh-copy-id hadoop-node03这里的-P 是设置空密码目的是让后面所有SSH调用不交互。ssh-copy-id会把公钥追加到目标机的authorized_keys文件里不需要手动改权限。配完之后逐个ssh验证确保每台机器都能无提示登录。生产环境不建议这样开空密码但课程设计和实训环境追求启动脚本不被中断这是最常见的做法。提示不要在root用户下跑整个集群。Hadoop安装包放在独立用户目录比如/opt/hadoop属主设为hadoop用户。运行过程遇到权限问题优先排查目录属主和写权限不要顺手改成chmod 777。3. 把配置文件写对core-site.xml、hdfs-site.xml与yarn-site.xml的必调参数配置文件是集群能不能启动的直接决定者。很多人照着模板往里面填看起来不报错但启动后就是“黑匣子”一样查不出问题。逐个文件把含义弄清楚比记住十条配置更省时间。3.1 core-site.xml与hdfs-site.xml入口地址、存储目录与副本因子core-site.xml决定的是默认文件系统入口也就是客户端和HDFS打交道的地址。hdfs-site.xml负责NameNode和DataNode的存储位置以及副本数量。两者层级不同但经常混在一起出问题。!-- core-site.xml -- configuration property namefs.defaultFS/name valuehdfs://hadoop-node01:9000/value descriptionNameNode的RPC通信地址客户端和MapReduce作业都通过它找HDFS/description /property property namehadoop.tmp.dir/name value/opt/hadoop/tmp/value description中间临时目录必须预先创建并授权给运行用户/description /property /configuration!-- hdfs-site.xml -- configuration property namedfs.namenode.name.dir/name valuefile:///opt/hadoop/data/namenode/value descriptionNameNode元数据存储路径格式化命令会在这里生成fsimage/description /property property namedfs.datanode.data.dir/name valuefile:///opt/hadoop/data/datanode/value descriptionDataNode数据块存储路径多个目录用逗号分隔/description /property property namedfs.replication/name value2/value description副本因子三节点集群设为2至少保留一份冗余/description /property /configurationfs.defaultFS里的hadoop-node01必须能通过hosts解析不能写成localhost否则客户端在集群外部提交作业时会连到自己的9000端口。hadoop.tmp.dir如果不显式设置默认落在/tmp下系统重启后可能被清理之后NameNode再启动会找不到元数据。dfs.namenode.name.dir和dfs.datanode.data.dir这两个路径最好显式指定原因是它们默认继承hadoop.tmp.dir的父目录一旦tmp被清空整个集群等于从零开始。副本因子在三节点集群里建议设为2。虽然Hadoop默认是3但三台DataNode上存三份副本会占据三分之二的存储空间实训环境没必要。如果设成1NameNode会持续报告under-replicated blocks看着心情也不好。设成2之后hdfs dfsadmin -report里live datanodes应该是3副本状态正常。3.2 mapred-site.xml与yarn-site.xml调度入口与容器配置mapred-site.xml负责声明MapReduce作业运行在哪个框架之上。新版本必须写yarn否则作业按local模式跑根本不走集群资源。yarn-site.xml则是整个Yarn集群的中枢配置ResourceManager要告诉所有NodeManager“谁是老大”NodeManager要告诉ResourceManager“我能用多少资源”。!-- mapred-site.xml -- configuration property namemapreduce.framework.name/name valueyarn/value description让MapReduce作业提交到Yarn上运行/description /property property namemapreduce.jobhistory.address/name valuehadoop-node02:10020/value description作业历史服务器地址跑完的作业状态和日志靠它查询/description /property /configuration!-- yarn-site.xml -- configuration property nameyarn.resourcemanager.hostname/name valuehadoop-node01/value descriptionNodeManager通过这个地址向ResourceManager注册/description /property property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value descriptionMap阶段输出要传给Reduce阶段必须开启Shuffle服务/description /property property nameyarn.nodemanager.aux-services.mapreduce_shuffle.class/name valueorg.apache.hadoop.mapred.ShuffleHandler/value /property /configurationyarn.nodemanager.aux-services是集群起不来或者作业卡在Shuffle阶段时需要最先检查的参数。它声明的是辅助服务类型mapreduce_shuffle的名称必须和类名配套少写ShuffleHandler会导致Map端输出的数据没法传给Reduce端作业会在Map到Reduce的中间步骤不断重试。ResourceManager的hostname写成hadoop-node01所有NodeManager靠这个地址找到调度中心。这里也顺带回应了“Hadoop作业提交到Yarn的流程”里最关键的一段提交作业后客户端先联系ResourceManagerRM创建ApplicationMasterAM再向RM申请容器容器由NodeManager拉起整个过程每一步都在8088端口的Web界面可见。3.3 格式化NameNode的时机一次性的操作别把它当后悔药格式化NameNode是所有步骤里最需要克制的一个操作。很多人在启动失败后第一反应是“重新格式化”结果旧DataNode的clusterID和新NameNode不一致DataNode在Web UI上一片灰。格式化命令是hdfs namenode -format执行时会在dfs.namenode.name.dir下生成一个新的Namespace ID和clusterID。DataNode第一次连接时会带着这个ID上报如果NameNode已经换过IDDataNode会拒绝注册并持续打印版本不匹配的日志。# 首次启动前在主节点执行格式化 hdfs namenode -format # 确认格式化成功后再启动 start-dfs.sh start-yarn.sh # 各节点分别执行jps确认进程是否齐全 jps # 主节点检查集群当前存活节点数 hdfs dfsadmin -report | grep Live datanodesstart-dfs.sh本身已经包含了远程启动DataNode和SecondaryNameNode的逻辑所以不需要手动去每台机器执行hadoop-daemon.sh。这里也说明一个检查习惯启动后先去主节点和从节点分别跑jps确认主节点有NameNode和ResourceManager从节点有DataNode和NodeManager再做dfsadmin -report确认存活节点。如果少了某个进程就需要回到对应节点的日志里看具体异常而不是直接重新格式化。注意格式化不是后悔药。集群运行期间如果出现元数据损坏正确的做法是恢复原目录备份而不是重新执行格式化命令。没有备份时再考虑清理整个data目录后全量重建但那时所有数据都会丢失。4. MapReduce程序关键点的个性化开发环境搭建、WordCount闭环与自定义排序集群只是底座MapReduce程序才是让集群“干活”的部分。“个性化开发”四个字翻译成实战语言就是环境能编译、作业能提交、输出结果能按照业务需求定制排序和分组。4.1 在IDEA里搭建Hadoop开发环境Maven依赖与本地调试边界开发环境的第一件事是引入依赖。如果用Eclipse配置思路也一样把hadoop-client和hadoop-common的jar包引入classpath。现在更常用的是IDEA加Maven版本号和集群严格对应否则打包出来后连不上集群的RPC端口。dependencies dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-client/artifactId version3.3.6/version /dependency dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-common/artifactId version3.3.6/version /dependency /dependencies本地运行和集群运行的边界要清楚。IDE里直接运行Driver时Configuration默认加载本地文件系统这时FileInputFormat里的路径是本地路径如果直接读取HDFS上的文件要么把fs.defaultFS指到集群要么在代码里读取HDFS路径。调试阶段最省事的方式是本地先用小数据文件跑通逻辑确认结果后再切到集群提交流程。这样能避开“本地和集群不一致”的干扰因素重点是验证业务逻辑没问题。4.2 最小可跑的WordCount三件套Mapper、Reducer与DriverMapReduce程序的结构非常固定一个Mapper负责读入原始数据并产生中间键值对Reducer负责把相同key的value聚合Driver负责组装整个作业并提交。下面是最小闭环的三段代码足以跑通并作为后续开发模板。// WordCountMapper.java import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; import java.util.StringTokenizer; public class WordCountMapper extends MapperLongWritable, Text, Text, IntWritable { private final static IntWritable one new IntWritable(1); private Text word new Text(); Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } }// WordCountReducer.java import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; import java.io.IOException; public class WordCountReducer extends ReducerText, IntWritable, Text, IntWritable { private IntWritable result new IntWritable(); Override protected void reduce(Text key, IterableIntWritable values, Context context) throws IOException, InterruptedException { int sum 0; for (IntWritable val : values) { sum val.get(); } result.set(sum); context.write(key, result); } }// WordCountDriver.java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCountDriver { public static void main(String[] args) throws Exception { if (args.length ! 2) { System.err.println(Usage: WordCountDriver input output); System.exit(2); } Configuration conf new Configuration(); Job job Job.getInstance(conf, word count); job.setJarByClass(WordCountDriver.class); job.setMapperClass(WordCountMapper.class); job.setReducerClass(WordCountReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } }这三段代码里有一个最容易被忽略的细节Mapper输出类型和Reducer输出类型可能不一样。WordCount里中间结果和最终结果都是Text和IntWritable所以只设置了一次job.setOutputKeyClass和job.setOutputValueClass。如果Mapper和Reducer的输出类型不一致必须分别设置map输出的类型否则Reduce端拿到的数据类型对不上运行期会抛异常。打包提交到集群的命令如下。mvn package会生成一个带依赖的jar包提交时hadoop jar命令会把作业发给ResourceManager由Yarn完成后续调度。mvn package -DskipTests hadoop jar target/wc-1.0.jar com.example.WordCountDriver /input /output作业提交到Yarn后的可见现象是客户端先打印job信息随后ApplicationMaster向RM申请容器执行过程在8088端口的ResourceManager界面里看得一清二楚Map进度100%后进入Shuffle阶段再进入Reduce阶段。如果作业结果不对先看hdfs dfs -cat /output/part-r-00000再决定是改逻辑还是改参数。4.3 个性化需求怎么做自定义Writable、二次排序与分组比较器“个性化开发”落到MapReduce层面最常见的三个需求自定义对象、自定义排序、自定义分组。三者经常一起出现比如统计每个上行流量和下行流量后要求按总流量倒序输出。这里最底层的支撑是一个自定义Writable。import org.apache.hadoop.io.Writable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; public class FlowBean implements Writable, ComparableFlowBean { private long upFlow; private long downFlow; private long sumFlow; public FlowBean() {} public void set(long upFlow, long downFlow) { this.upFlow upFlow; this.downFlow downFlow; this.sumFlow upFlow downFlow; } Override public void write(DataOutput out) throws IOException { out.writeLong(upFlow); out.writeLong(downFlow); out.writeLong(sumFlow); } Override public void readFields(DataInput in) throws IOException { this.upFlow in.readLong(); this.downFlow in.readLong(); this.sumFlow in.readLong(); } Override public int compareTo(FlowBean o) { return Long.compare(o.sumFlow, this.sumFlow); } Override public String toString() { return upFlow \t downFlow \t sumFlow; } }FlowBean实现Writable接口时必须保留空参构造器因为在反序列化阶段Hadoop会反射调用它来创建对象。如果漏写空参构造器Reducer端读取结果时会报反射相关的异常。write和readFields的字段顺序必须完全一致否则上行流量会被读到下行流量里去轻则结果错乱重则流序异常导致作业失败。compareTo方法定义了排序规则这个排序发生在Map端输出后的Shuffle阶段键值对会按照它进行排序。二次排序和分组排序是更进一层的个性化。二次排序要求先按第一个字段排序相同再按第二个字段排序这部分可以通过自定义KeyComparator实现。分组排序则是MapReduce排序—分组排序这类实训题目里的核心默认情况下Reduce拿到的是全部键值对如果要按某个字段分组需要实现GroupingComparator来指定哪些key属于同一组。常见做法是先加密整个key再在grouping comparator里只提取字段作判断。这两个是自定义排序流程里最容易拿分的点也最能体现对Shuffle阶段的理解。5. Hadoop集群与MapReduce排错避坑指南五个值得复盘的真实现场集群开发不像普通程序一样能在IDE里打断点看堆栈。报错信息分散在日志、Web UI和客户端输出里问题定位全靠经验和系统性排查。下面五个现场是我见过的高频故障每条都按“现象—原因—解决”拆开可以直接对照。5.1 DataNode数量不对主机名解析失败导致的失联现象集群启动后hdfs dfsadmin -report里Live datanodes数量比实际节点少被“丢弃”的往往是后加入的节点或主机名带了下划线的那一台。原因DataNode启动时会按照配置的hostname去连接NameNode如果从节点的/etc/hosts里没有正确写入主节点的映射或者主机名里带有非法字符就会一直注册失败。另一个常见原因是时钟偏移DataNode上报时间戳和NameNode差距过大会被判定为stale节点。解决在所有节点把三台机器的IP写进/etc/hosts并确保主机名和IP一一对应。然后在从节点用ping hadoop-node01验证解析再查看从节点的日志里有没有注册NameNode失败的记录。时钟偏移问题用date命令对比所有节点差异大就配置NTP同步。5.2 start-dfs.sh卡在SSH交互免密配置有漏网之鱼现象start-dfs.sh运行后停在某个节点上界面出现yes/no确认或密码输入提示整个过程看起来像“死了”一样。原因免密配置只做主节点到从节点没有配置从节点到主节点的回连或者主节点生成密钥后没有把公钥分发给自己。start-dfs.sh需要远程启动进程同时需要远程收集状态双向都没有交互才顺畅。解决在主节点重新执行ssh-copy-id把所有节点包括自己都放进去。然后逐个节点执行ssh主机名测试确认免密无提示。如果仍然卡住试试在启动命令前面加export HADOOP_SSH_OPTS-o StrictHostKeyCheckingno把首次连接时的主机指纹确认跳过去。5.3 提交作业报ClassNotFoundExceptionjar打包漏了依赖现象hadoop jar提交后客户端显示Mapper或Driver类找不到具体报错是ClassNotFoundException类名看起来十分确定存在。原因直接把依赖jar包放进去而没有打一个肥jar集群上每个NodeManager的classpath里默认没有本地Maven依赖。这就是之前说的“IDE里正常集群翻车”的典型来源。解决pom.xml里配置maven-shade-plugin或maven-assembly-plugin把hadoop-client和hadoop-common一起打进去。如果只写了依赖没有配置打包插件Maven默认只打业务代码jar依赖不会进包。提交前用unzip -l查看jar内容确认包含org/apache/hadoop目录。5.4 Map 100%后任务卡死Reduce阶段的内存与GC问题现象作业进度条显示Map阶段100%然后长时间停在Reduce 0%日志里看不到明显异常任务反复重试有时还可能报Container killed。原因Reduce阶段Shuffle服务需要从Map端拉取数据占用大量内存和网络IO。NodeManager给Reduce容器分配的内存少于Shuffle所需或GC停顿严重时就会表现为“卡住”。默认参数在某些小内存集群里不足以支撑并发Shuffle。解决先调mapreduce.reduce.memory.mb和mapreduce.reduce.java.opts把容器堆内存调到与物理内存匹配。再检查yarn.nodemanager.resource.memory-mb有没有把NodeManager可分配总内存写小导致多个容器同时启动时资源不足。具体数值没有统一标准我一般先按总内存除以期望并发容器数估算再观察调度界面调整。5.5 格式化后DataNode全部掉线clusterID不一致现象某次操作后NameNode启动正常但所有DataNode都连接不上日志里出现“Storage cannot access the directory”或者clusterID相关的报错。原因这是把格式化当后悔药的典型后果。NameNode格式化生成了新的clusterID而DataNode还保留旧clusterID双方握手失败。从节点启动时间越早越容易出现这种不一致。解决如果NameNode刚格式化并确认要保留当前状态需要在所有DataNode节点清空datanode数据目录里的current目录让DataNode在下次启动时重新绑定NameNode。操作前确认这些数据块已经没有保留价值因为清空等于副本全丢。以后遇到这类问题先检查hdfs-site.xml里的存储路径是否被意外改动再考虑清空和重新注册。6. 用日志与Web UI验证集群健康三个改完立刻见效的调参习惯集群启动后不要急着跑大作业先做三轮验证。第一轮看进程用jps确认所有角色都在第二轮看Web UI访问hadoop-node01:9870查看NameNode页面Datanodes标签里能看到每个节点的已用空间和状态再访问hadoop-node01:8088打开Yarn界面能看到作业调度历史第三轮看文件系统直接用hdfs dfsadmin -report检查整体容量和副本状态。日志要看得勤。Hadoop运行时的关键日志分布在两个地方$HADOOP_HOME/logs目录里存着各类服务的启动日志userlogs子目录下则是作业产生的具体容器日志。一个MR作业跑完后userlogs里每个container对应一个文件夹syslog里能看到完整的Java异常堆栈。任务卡顿或结果不对时先开syslog看GC和网络相关线索再回头核对代码逻辑。参数调优方面我建议优先动三个。第一个是mapreduce.reduce.memory.mb默认值在不少发行版里偏小Reduce容器经常被NodeManager杀掉调到物理内存的四分之一左右通常有立竿见影的效果。第二个是mapreduce.task.io.sort.mb控制Map端环形缓冲区的上限默认100MB在大量中间数据时容易触发频繁spillMap阶段会变慢调到200以上明显改善。第三个是mapreduce.job.reducesReduce个数不是越多越好我习惯先把数据总量除以每个Reduce的期望处理量得出一个粗值再跑一轮看Reduce耗时调整绝不用一台机器几个CPU硬套公式。最后保留一个习惯每次作业跑完扫一眼控制台打印的Counter计数。Map input records、Reduce output records和HDFS bytes written三个值能快速判断程序有没有按预期工作。HDFS bytes written严重偏高说明产生数据倾斜Reduce input records为0说明Mapper输出类型配置错了这些问题在Counter面前藏不住。这套检查方法我保持了三年集群维护里最怕的不是报错而是看起来跑完了、结果却不对劲希望帮到你。本文还有配套的精品资源点击获取