人工智能大模型强化学习AI Agent微调【免费下载链接】OpenClaw-RLOpenClaw-RL: Train any agent simply by talking项目地址https://gitcode.com/gh_mirrors/op/OpenClaw-RL点击查看免费下载本指南完整讲解如何基于 NVIDIA Megatron-Core 在 GB200 NVL72 集群上复现 DeepSeek-V3 预训练的高性能配置覆盖从 Docker 镜像构建、依赖版本锁定、集群调度约束到包含 200 参数的完整启动脚本以及流水线布局、HybridEP、MXFP8、CUDA Graph 等九大关键优化的逐一拆解。读完本文你将获得一套可直接落地 GB200 环境、逐行可解释的 DeepSeek-V3 规模 MoE 训练基准配置并能理解每个参数背后的源码实现逻辑。1. 概述为什么需要专门的复现指南DeepSeek-V3 是一个拥有 256 个路由专家、61 层 Transformer 与 MLAMulti-Latent Attention的超大规模 MoE 模型。在 GB200 NVL72 这类以 NVLink 域为基本单元的集群上能否复现其论文中的训练性能取决于大量非显而易见的工程细节Expert ParallelismEP规模与 NVLink 域大小的匹配、通信内核HybridEP的安装版本、FP8 量化方案MXFP8与优化器状态精度的组合、以及流水线各阶段负载的精细切分。本指南即官方针对这些细节给出的可复现配方配套文档位于 deepseek-v3-gb200-reproduce-guide.md。2. 环境准备Dockerfile 与关键组件版本2.1 三大关键依赖复现性能的前提是安装三个经过验证的组件版本任何偏差都可能影响吞吐或触发数值问题Transformer EngineTE建议使用 commitd2945c6并合入 PR #2146 与 #2150三个提交均位于 TE v2.9 基础之上含 CPU 侧与量化优化。官方也提供了基于 TE v2.9 合并上述提交的 hxbai/TransformerEngine dev_20251024 分支可直接使用。cuDNN要求 v9.14用于保证 MXFP8 量化与 LayerNorm 融合的正确性。HybridEP安装自 deepseek-ai/DeepEP 的 hybrid-ep 分支commit 3f601f7。HybridEP 是 DeepSeek 提供的融合式 All-to-All 通信内核是本方案中flextoken dispatcher 的底层后端。2.2 参考 Dockerfile 逐段解读官方以nvcr.io/nvidia/pytorch:25.09-py3为基础镜像给出参考 Dockerfile关键步骤按序为系统包安装gdb、bash-builtins、libfabric-dev等调试与网络库并下载yqYAML 处理工具到/usr/bin/yq。Python 包注意必须先unset PIP_CONSTRAINT否则基础镜像中的默认约束会阻止安装不符合版本的包包版本清单参考了 Megatron-LM core_v0.12.0 的Dockerfile.linting、requirements_mlm.txt与requirements_ci.txt其中black24.4.2、setuptools69.5.1等均为锁版本。cuDNN 9.14通过 NVIDIA CUDA 仓库安装libcudnn9-cuda-13并明确注释说明该版本是为了correct mxfp8 quantization and layernorm fusion。Transformer Engine设置NVTE_CUDA_ARCHS100面向 GB200 的 Blackwell SM100与NVTE_BUILD_THREADS_PER_JOB8先安装nvidia-mathdx25.1.1再以--no-build-isolation方式从源码安装 TE。HybridEPgit clone --branch hybrid-ep后 checkout 到指定 commit并用TORCH_CUDA_ARCH_LIST10.0编译安装。清理缓存删除/root/.cache与/tmp/*。Tip若希望使用 CUDA 12.9可将基础镜像替换为nvcr.io/nvidia/pytorch:25.06-py3并把 cuDNN 包改为libcudnn9-cuda-12。完整 Dockerfile 可直接参考 deepseek-v3-gb200-reproduce-guide.md 原文第 12–74 行按段落原样粘贴即可构建。3. Megatron-Core 版本锁定推荐使用dev 分支且位于 PR #1917 之后的代码并锁定到 commiteffebd81f410bc6566fffee6c320b6f8f762e06dgit clone https://github.com/NVIDIA/Megatron-LM.git \ cd Megatron-LM git checkout effebd81f410bc6566fffee6c320b6f8f762e06d当前开源仓库正是该方向的持续演化版本本指南中涉及的所有参数均可在仓库的 megatron/training/arguments.py 中找到对应定义后续章节会逐一给出源码位置。4. GB200 集群配置EP32 与 NVLink 域的强约束本方案在 NVL72 上使用EP32因此存在一条硬性调度约束每 32 块 GB200 GPU即 8 个节点必须位于同一个 NVL 域或同一机架内。这是因为 EP 通信All-to-All需要跑在 NVLink 域内的低延迟链路上。通常通过集群工作负载管理器实现以 Slurm 为例向sbatch传递--segment 8确保每 8 个节点32 块 GPU作为一个 segment 被调度到同一机架。5. 训练启动脚本5.1 环境变量启动前需设置如下环境变量它们直接决定通信与内核行为CUDA_DEVICE_MAX_CONNECTIONS1 NVTE_FWD_LAYERNORM_SM_MARGIN0 NVTE_BWD_LAYERNORM_SM_MARGIN0 NVLINK_DOMAIN_SIZE72 NVTE_ALLOW_NONDETERMINISTIC_ALGO1 PYTORCH_CUDA_ALLOC_CONFexpandable_segments:True NCCL_NVLS_ENABLE0 NVTE_FUSED_ATTN1 NVTE_NORM_FWD_USE_CUDNN1 NVTE_NORM_BWD_USE_CUDNN1 PYTHONWARNINGSignore NCCL_DEBUGVERSION NCCL_GRAPH_REGISTER0要点说明NVLINK_DOMAIN_SIZE72与NCCL_NVLS_ENABLE0配合控制 NCCL 通信图的构建方式NVTE_*_LAYERNORM_SM_MARGIN0让 LayerNorm 内核可以在更激进的 SM 调度下执行NVTE_NORM_*_USE_CUDNN1与前述 cuDNN 9.14 安装相呼应PYTORCH_CUDA_ALLOC_CONFexpandable_segments:True减少显存碎片NVTE_FUSED_ATTN1开启融合注意力。5.2 bindpcieGB200 上至关重要的一步从 NVIDIA/mlperf-common 的 bindpcie 下载并赋予执行权限wget https://raw.githubusercontent.com/NVIDIA/mlperf-common/refs/heads/main/client/bindpcie chmod 755 bindpcie官方明确强调必须把 bindpcie 放在每个进程启动命令的最前面。Slurm 场景下脚本形态为#!/bin/bash #SBATCH [... sbatch args] srun [... srun args] /path/to/bindpcie /path/to/pretrain_gpt.py [... mcore arguments]在 GB200 上PCIe 拓扑与 GPU 亲和性对通信性能影响显著这一步是官方点名的very important step。5.3 完整启动脚本以下是官方给出的完整启动命令以--enable-experimental为实验特性开关它同时刻画了 DeepSeek-V3 的完整模型结构/path/to/bindpcie \ /path/to/megatron-lm/pretrain_gpt.py \ --distributed-timeout-minutes 60 \ --tensor-model-parallel-size 1 \ --pipeline-model-parallel-size 8 \ --expert-model-parallel-size 32 \ --context-parallel-size 1 \ --expert-tensor-parallel-size 1 \ --use-distributed-optimizer \ --overlap-grad-reduce \ --overlap-param-gather \ --use-mcore-models \ --sequence-parallel \ --use-flash-attn \ --disable-bias-linear \ --micro-batch-size 1 \ --global-batch-size 2048 \ --train-samples 585937500 \ --exit-duration-in-mins 220 \ --no-save-optim \ --no-check-for-nan-in-loss-and-grad \ --cross-entropy-loss-fusion \ --cross-entropy-fusion-impl te \ --manual-gc \ --manual-gc-interval 10 \ --enable-experimental \ --transformer-impl transformer_engine \ --seq-length 4096 \ --data-cache-path /path/to/data_cache \ --tokenizer-type HuggingFaceTokenizer \ --tokenizer-model unsloth/DeepSeek-V3 \ --data-path /path/to/data \ --split 99,1,0 \ --no-mmap-bin-files \ --no-create-attention-mask-in-dataloader \ --num-workers 6 \ --num-layers 61 \ --hidden-size 7168 \ --ffn-hidden-size 18432 \ --num-attention-heads 128 \ --kv-channels 128 \ --max-position-embeddings 4096 \ --position-embedding-type rope \ --rotary-base 10000 \ --make-vocab-size-divisible-by 3232 \ --normalization RMSNorm \ --norm-epsilon 1e-6 \ --swiglu \ --untie-embeddings-and-output-weights \ --multi-latent-attention \ --attention-dropout 0.0 \ --hidden-dropout 0.0 \ --clip-grad 1.0 \ --weight-decay 0.1 \ --qk-layernorm \ --lr-decay-samples 584765624 \ --lr-warmup-samples 1536000 \ --lr-warmup-init 3.9e-7 \ --lr 3.9e-6 \ --min-lr 3.9e-7 \ --lr-decay-style cosine \ --adam-beta1 0.9 \ --adam-beta2 0.95 \ --num-experts 256 \ --moe-layer-freq ([0]*3[1]*58) \ --moe-ffn-hidden-size 2048 \ --moe-shared-expert-intermediate-size 2048 \ --moe-router-load-balancing-type seq_aux_loss \ --moe-router-topk 8 \ --moe-grouped-gemm \ --moe-aux-loss-coeff 1e-4 \ --moe-router-group-topk 4 \ --moe-router-num-groups 8 \ --moe-router-pre-softmax \ --moe-router-padding-for-quantization \ --moe-router-topk-scaling-factor 2.5 \ --moe-router-score-function sigmoid \ --moe-router-enable-expert-bias \ --moe-router-bias-update-rate 1e-3 \ --moe-router-dtype fp32 \ --moe-permute-fusion \ --moe-router-fusion \ --q-lora-rank 1536 \ --kv-lora-rank 512 \ --qk-head-dim 128 \ --qk-pos-emb-head-dim 64 \ --v-head-dim 128 \ --rotary-scaling-factor 40 \ --mscale 1.0 \ --mscale-all-dim 1.0 \ --eval-iters 32 \ --eval-interval 200 \ --no-load-optim \ --no-load-rng \ --auto-detect-ckpt-format \ --load None \ --save /path/to/checkpoints \ --save-interval 500 \ --dist-ckpt-strictness log_all \ --init-method-std 0.02 \ --log-timers-to-tensorboard \ --log-memory-to-tensorboard \ --log-validation-ppl-to-tensorboard \ --log-throughput \ --log-interval 1 \ --logging-level 40 \ --tensorboard-dir /path/to/tensorboard \ --wandb-project deepseek-v3-benchmarking-v0.15 \ --wandb-exp-name DeepSeek-V3-TP1PP8EP32CP1VPP4-MBS1GBS2048-v0.15 \ --bf16 \ --enable-experimental \ --recompute-granularity selective \ --recompute-modules moe_act mlp \ --cuda-graph-impl transformer_engine \ --cuda-graph-scope attn moe_router moe_preprocess \ --te-rng-tracker \ --pipeline-model-parallel-layout Et|(tt|)*30L \ --moe-router-force-load-balancing \ --moe-token-dispatcher-type flex \ --moe-flex-dispatcher-backend hybridep \ --moe-hybridep-num-sms 32 \ --fp8-recipe mxfp8 \ --fp8-format e4m3 \ --fp8-param-gather \ --reuse-grad-buf-for-mxfp8-param-ag \ --use-precision-aware-optimizer \ --main-grads-dtype fp32 \ --main-params-dtype fp32 \ --exp-avg-dtype bf16 \ --exp-avg-sq-dtype bf16 \从并行维度看该配置是TP1、PP8、EP32、CP1、VP4、MBS1、GBS2048的组合见--wandb-exp-name即每个 EP rank 只放 1 个专家副本。模型参数对应 DeepSeek-V3 671B61 层、hidden 7168、FFN 18432、128 头、256 专家、MLAq-lora-rank 1536 / kv-lora-rank 512、--moe-layer-freq ([0]*3[1]*58)表示前 3 层为稠密层、后 58 层全部为 MoE 层。6. 九大关键优化参数详解官方将其中的核心优化逐条解释如下本节同时补充仓库源码中的参数定义与实现证据。6.1 流水线并行布局Pipeline Parallel Layout--pipeline-model-parallel-layout Et|(tt|)*30L其中E表示 Embedding、t表示 Transformer 层、L表示 Loss。该字符串展开为共 32 个 stage第一个 stage 是 Embedding 1 层 Transformer最后一个 stage 是 Loss中间 30 个 stage 各含 2 层 Transformer。合计 61 层与 PP8×VP4 的虚拟流水线切分方式不同这里是通过自定义布局把 61 层精确分配到 32 个物理 stage 上。在 arguments.py 中该参数的定义为A string that describes a custom pipeline model parallel layout并说明E, L, t, m分别表示 embedding、loss、transformer decoder layer 与 mtp layerstage 间用|分隔支持*乘法表示重复逗号仅作装饰。该参数在--enable-experimental下生效。6.2 细粒度选择性重计算Fine-grained Recompute--recompute-granularity selective \ --recompute-modules moe_act mlp \按 arguments.py 的定义selective粒度只重计算--recompute-modules指定的子模块默认为core_attn。此处仅对moe_act与mlp做重计算在显存与算力之间取得平衡避免整层全量重计算带来的性能损失。6.3 部分 CUDA GraphPartial CUDA Graphs--cuda-graph-impl transformer_engine \ --cuda-graph-scope attn moe_router moe_preprocess \ --te-rng-tracker \--cuda-graph-impltransformer_engine使用 TE 实现做 CUDA Graph 捕获--cuda-graph-scope只把attn、moe_router、moe_preprocess这几个延迟敏感的小算子捕获进图。--te-rng-tracker配合 RNG 状态追踪保证图内随机数行为正确。从 arguments.py 可见该 scope 组合只支持transformer_engine实现而full_iteration整体捕获仅支持local实现。6.4 强制负载均衡Force Load Balancing--moe-router-force-load-balancing \该参数在 arguments.py 中被明确标注为[Experimental] ... for benchmarking purposes only!——它用随机 logits 强制覆盖路由使 token 在专家间人为均衡分布仅用于性能基准测试避免负载不均掩盖真实吞吐正式训练不应开启。6.5 HybridEPflex dispatcher 与融合 All-to-All--moe-token-dispatcher-type flex \ --moe-flex-dispatcher-backend hybridep \ --moe-hybridep-num-sms 32 \这是本方案性能的核心。--moe-token-dispatcher-type flex选用 MoEFlexTokenDispatcher其设计是使用覆盖所有 TPEP rank 的单一通信组使分发逻辑与具体并行策略解耦。--moe-flex-dispatcher-backend可选deepep或hybridep默认为deepep见 arguments.py此处选hybridep并用--moe-hybridep-num-sms 32控制通信内核占用的 SM 数默认 16此处显式放大到 32。底层 _HybridEPManager 的工作流为setup_metadata()处理路由 map 与概率生成分发元数据 →dispatch()将token permute、All-to-All 通信、按专家排列三步融合为单步 →combine()将反向 unpermute、All-to-All、注意力还原融合为单步。这些 SM 参数最终传递给 DeepEP 的num_sms_dispatch_api与num_sms_combine_api见 token_dispatcher.py。6.6 MXFP8 量化方案--fp8-recipe mxfp8 \ --fp8-format e4m3 \ --fp8-param-gather \ --reuse-grad-buf-for-mxfp8-param-ag \--fp8-recipe的可选值为tensorwise / delayed / mxfp8 / blockwise / custom默认delayed见 arguments.py此处显式使用mxfp8每 32 元素一组的 MX 格式缩放e4m3为 FP8 数值格式。--fp8-param-gather表示保持计算参数为 FP8参数 all-gather 也在 FP8 下进行arguments.py配合--reuse-grad-buf-for-mxfp8-param-ag复用梯度缓冲区减少 FP8 参数聚合时的额外显存与拷贝。这也是前述 Dockerfile 强调 cuDNN 9.14 保证correct mxfp8 quantization的原因。6.7 BF16 优化器状态Precision-Aware Optimizer--use-precision-aware-optimizer \ --main-grads-dtype fp32 \ --main-params-dtype fp32 \ --exp-avg-dtype bf16 \ --exp-avg-sq-dtype bf16 \在 arguments.py 中main-grads-dtypefp32/bf16、main-params-dtypefp32/fp16、exp-avg-dtypefp32/fp16/bf16/fp8、exp-avg-sq-dtype共同构成精度感知优化器主梯度与主参数保持 fp32 保证数值精度而 Adam 的一阶/二阶矩exp-avg / exp-avg-sq降为 bf16显著削减分布式优化器--use-distributed-optimizer状态下每 rank 的优化器状态显存占用。6.8 内核融合Kernel Fusions--cross-entropy-loss-fusion \ --cross-entropy-fusion-impl te \ --moe-permute-fusion \ --moe-router-fusion \--cross-entropy-loss-fusion融合交叉熵损失计算--cross-entropy-fusion-impl te选择 TE 实现可选native / te / linear见 arguments.py--moe-permute-fusion融合 token 分发过程中的重排算子arguments.py--moe-router-fusion融合 MoE TopK 路由与 aux-loss 计算要求 TE ≥ 2.7.0。6.9 手动 GCManual GC同步各 rank 节奏--manual-gc \ --manual-gc-interval 10 \开启后训练循环在每manual_gc_interval此处为 10个 iteration 时主动执行gc.collect()见 megatron/training/training.py。其目的是让各 rank 的垃圾回收行为对齐到同一时刻避免隐式 GC 造成的随机停顿拉长关键路径从而让吞吐曲线更平稳、更可复现。7. 数值与稳定性的配套细节除上述优化外脚本还包含一批直接影响可复现性的细节--no-check-for-nan-in-loss-and-grad、--no-save-optim与--exit-duration-in-mins 220面向短时基准运行按运行时长220 分钟而非样本数退出并跳过 NaN 检查与优化器状态保存以排除开销--lr-warmup-init 3.9e-7、--lr 3.9e-6、--min-lr 3.9e-7、--lr-decay-samples 584765624与--lr-warmup-samples 1536000构成完整 cosine 学习率曲线路由侧采用 DeepSeek-V3 论文的aux-loss-free负载均衡组合--moe-router-score-function sigmoid--moe-router-pre-softmax--moe-router-enable-expert-bias--moe-router-bias-update-rate 1e-3与论文一致见 arguments.py同时--moe-router-num-groups 8--moe-router-group-topk 4实现 group-limited 路由--moe-router-padding-for-quantization保证每个专家接收的 token 数为 16/32 的倍数适配 FP8/FP4arguments.pyMLA 侧参数在 arguments.py 的_add_mla_args中定义q-lora-rankQuery 低秩表示的秩、kv-lora-rankKey/Value 低秩表示的秩默认 32、qk-head-dim与qk-pos-emb-head-dim之和构成 QK 投影的完整头维度、v-head-dimV 投影头维度默认 128、rotary-scaling-factor与mscale/mscale-all-dimMLA 中 YaRN RoPE 的缩放因子。仓库的 MLA 注意力实现megatron/core/transformer/attention.py中 V 投影头维度同样取kv_lora_rank。8. 适用前提与限制说明硬件前提本配置面向 GB200 NVL72EP32 依赖每 8 节点同属一个 NVL 域的调度保证在其他集群拓扑上直接套用无法获得相同性能软件前提TE、cuDNN、HybridEP 与 Megatron-Core 的版本组合必须按第 2、3 节锁定尤其是hybridep后端依赖 DeepEP 的 hybrid-ep 分支未安装时会抛出 ImportError见 token_dispatcher.py实验性开关--enable-experimental、--pipeline-model-parallel-layout、--moe-router-force-load-balancing均为实验特性其中 force-load-balancing 官方明确仅用于基准测试数据与分词器--tokenizer-model unsloth/DeepSeek-V3、--data-path等路径需按实际环境替换--data-cache-path建议指向高速存储以降低数据加载开销配合--no-mmap-bin-files、--num-workers 6。本指南中的所有参数与流程均可在当前仓库的 arguments.py、token_dispatcher.py 与 training.py 中交叉验证作为 DeepSeek-V3 规模 MoE 预训练在 GB200 上复现性能的权威参考。赞分享人工智能大模型强化学习AI Agent微调【免费下载链接】OpenClaw-RLOpenClaw-RL: Train any agent simply by talking项目地址https://gitcode.com/gh_mirrors/op/OpenClaw-RL点击查看免费下载相关推荐DeerFlow 长时程 SuperAgent 指南沙箱、技能库与子代理如何跑通数小时任务DeerFlow 长时程 SuperAgent 指南沙箱、技能库与子代理如何跑通数小时任务 DeerFlow 是一个开源的长时程 SuperAgent 框架人工智能大模型AI Agent自主智能体工具调用MCP 服务Agent 沙箱AI 技能后端前端Megatron-Core 训练配方全解析GPT / LLaMA / Mixtral / DeepSeek-V3 超参配置与大规模并行训练实战Megatron Core 训练配方全解析GPT / LLaMA / Mixtral / DeepSeek V3 超参配置与大规模并行训练实战 本指南以 NVAI 技能人工智能大模型深度学习Megatron-Core 性能基准全景从 MFU 指标到千卡级 LLM 训练的吞吐量与调优实践Megatron Core 性能基准全景从 MFU 指标到千卡级 LLM 训练的吞吐量与调优实践 本篇指南以 benchmarks.md https://liAI 技能人工智能大模型深度学习上一篇Browser Use 中的 DOM 表示从原始 DOM 到 Agent 可用的元素地图element_tree 与 selector_map 全解下一篇智能旅游规划 Agent 平台开发实战从 PRD 到可交付 AI 产品的完整项目实践创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考