【免费下载链接】verl-omniMultimodal RL training framework for diffusion omni models项目地址https://gitcode.com/gh_mirrors/ve/verl-omni点击查看免费下载VeRL-Omni是一个面向多模态生成模型的强化学习RL训练框架支持扩散模型与全模态Omni模型的 RL 后训练。如果你想知道VeRL-Omni 支持哪些模型和算法——比如 Qwen-Image、SD3.5、MiniMax-H3 能不能训、该选 Flow-GRPO 还是 DiffusionNFT——本文给出完整的模型清单、算法对照表和新手选型建议帮你 10 分钟做出正确选择。VeRL-Omni 框架架构一图看懂 RL 训练链路VeRL-Omni 基于 verl 构建采用三层设计Trainer 层FlowGRPO、Omni-PPO、DPO 等 RL 训练器Training System 层Actor EngineDiffusersFSDP2 / VeOmni / Megatron 后端 TransferQueue 数据通道生成与奖励层vLLM-Omni Rollout Engine 负责多模态采样Reward Engine 提供视觉/音频奖励 完整架构与工程细节可参考官方文档 docs/start/models.md。一、支持的模型全景清单️ 图像生成类Diffusion Image模型架构模态亮点Qwen-ImageMM-DiT图文联合注意力文本→图像支持的算法最全的标杆模型支持 12 种训练器配置Qwen-Image-EditMM-DiTI2I 拼接条件文本图像→图像图编辑任务Qwen2.5-VL 编码器理解编辑指令SD3.5 MediumMM-DiT双 CLIP T5文本→图像支持 DiffusionOPD 蒸馏、潜空间奖励模型DiNa-LRMBoogu-Image双/单流 DiT Qwen3-VL文本/编辑→图像DiffusionNFT 已验证FLUX.1-devFLUX DiT文本→图像NPU 上运行 DanceGRPOHPSv2 奖励BAGEL统一多模态理解生成文本图像使用 per-stage 部署配置精细控制显存Qwen-Image 的训练入口示例examples/flowgrpo_trainer/qwen_image/SD3.5 的蒸馏配方见 examples/diffusionopd_trainer/sd35/。 视频与音视频生成类模型架构模态说明Wan2.2-TI2V-5BWan DiT文本→视频视频舞蹈生成HPSv3 人类偏好奖励LTX-2.3LTX-2 DiT文本→视频音频音视频联合生成支持图生视频TI2VAMiniMax-H3H3 TransformerCFG 蒸馏文本/图文→视频音频支持 T2VA、FL2VA、Ref2VA 三条链路FlowGRPO 与 DiffusionNFT 双算法MiniMax-H3 的完整数据准备与训练脚本位于 examples/flowgrpo_trainer/minimax_h3/ 和 examples/diffusionnft_trainer/minimax_h3/。 全模态Omni理解生成类模型架构模态算法Qwen3-Omni-30B-A3B ThinkerOmni MoE30B 总参/3B 激活文本图像音频视频GSPO含 OPD 蒸馏、离线 DPO、DAPOQwen3-TTS-12Hz-0.6BTalker code2wav文本→语音GRPO全参 / 印地语 SFT-LoRAMiniCPM-o 4.5 Thinker多模态 Thinker图文音视频GSPO LoRAOmni 模型训练入口examples/gspo_trainer/qwen3_omni/TTS 语音训练见 examples/grpo_trainer/qwen3_tts/。二、支持的算法清单算法一句话理解适用对象文档GRPO组相对策略梯度无需 Critic 网络Qwen3-TTSdocs/algo/Flow-GRPO首个把在线策略梯度 RL 引入 flow matching 扩散模型的算法ODE 转 SDE 引入随机性 去噪步缩减加速训练Qwen-Image、SD3.5、LTX-2.3、MiniMax-H3、BAGEL 等docs/algo/flowgrpo.mdFlow-DPPO用非对称散度掩码替代 PPO 比率裁剪训练更稳Qwen-Imagedocs/algo/flowdppo.mdGRPO-Guard加比率均值偏置校正抑制重要性比率数值失衡导致的高方差梯度Qwen-Imagedocs/algo/grpo_guard.mdMix-GRPO混合 ODE/SDE 采样 滑动窗口训练调度大幅降低在线 RL 成本Qwen-Imagedocs/algo/mixgrpo.mdDanceGRPO面向视频生成的舞蹈 SDE 变体Wan2.2、FLUX.1docs/examples/dancegrpo_trainer.mdDiffusionNFT直接优化前向扩散过程对比正负样本把奖励信号折叠进监督式 flow-matching 目标Qwen-Image、Boogu-Image、MiniMax-H3docs/algo/diffusionnft.mdDiffusion-DPO / 离线 DPO直接偏好优化支持在线采样配对与离线偏好数据Qwen-Image、SD3.5、Qwen3-Omnidocs/algo/diffusion_dpo.mdGSPO含 OPD面向 Omni AR 模型的序列级策略优化Qwen3-Omni、MiniCPM-odocs/algo/omni_opd.mdDiffusionOPD / MOPD在策略蒸馏含多教师教师在学生实际访问的状态上给出密集监督SD3.5docs/algo/diffusion_opd.md此外还有若干稳定性增强件可按需叠加在 Flow-GRPO 之上Rollout Correction缓解 rollout 与训练栈的 off-policy 偏差、异步奖励奖励计算与 rollout 重叠、确定性后训练可复现 E2E 训练。三、模型 × 算法速查表模型 \ 算法Flow-GRPOFlow-DPPOMix-GRPOGRPO-GuardDanceGRPODiffusionNFTDPOGSPODiffusionOPDQwen-Image✅✅✅✅—✅✅——Qwen-Image-Edit✅————————SD3.5✅—————✅(离线)—✅(MOPD)Boogu-Image✅————✅———FLUX.1-dev————✅(NPU)————Wan2.2————✅————LTX-2.3✅————————MiniMax-H3✅————✅———BAGEL✅————————Qwen3-Omni——————✅(离线)✅—Qwen3-TTS———————✅(GRPO)—⚠️ 硬件支持说明多数 GPU 配方同时提供 NPU昇腾版本脚本脚本名带_npu后缀即可。四、新手选型建议按场景选模型与算法 场景 1首次上手扩散模型 RL选Qwen-Image Flow-GRPOLoRA。4 张 GPU 即可跑通社区验证最充分OCR、PickScore 等奖励都有现成脚本examples/flowgrpo_trainer/qwen_image/也是官方基准吞吐测试的参考配方。 场景 2已有偏好/配对数据想要更稳的对齐选Diffusion-DPOQwen-Image 在线版或 SD3.5 离线版。不需要在线 RL 探索数据驱动、收敛行为更可预期。 场景 3追求训练效率、预算有限在 Flow-GRPO 基础上选Mix-GRPO滑动窗口只在小窗口内付 SDE 成本或叠加 Rollout Correction 跳过 logP 重算可省约 20% 每步耗时。 场景 4训练视频/音视频生成模型视频选Wan2.2 DanceGRPOHPSv3 偏好奖励要视频音频一起生成选MiniMax-H3T2VA/FL2VAFlowGRPO 或 DiffusionNFT或LTX-2.3 Flow-GRPOCLAP ImageBind 音视频对齐奖励。 场景 5多模态理解生成一体化模型选Qwen3-Omni GSPO。30B MoE 激活仅 3B4×H100/H200 80GB 即可用 FSDP2 LoRA 训练文本、图像、音视频问答都有现成 recipeexamples/gspo_trainer/qwen3_omni/。 进阶提示训练器默认使用V1 TrainerTransferQueue ReplayBuffer自 v0.3.0 起脚本名带_v1即为此模式离线 DPO 配方按设计保留 v0。不确定模型该配哪种奖励查看 docs/start/models.md 中的 Reward Models 对照表OCR VLM 裁判、PickScore、HPSv3、CLAP、Whisper CER 等 11 种。想要更快上手可先读快速入门 docs/start/flowgrpo_quickstart.mdNPU 用户看 docs/start/flowgrpo_quickstart_npu.md。总结你的需求推荐组合图像生成 RL 入门Qwen-Image Flow-GRPO (LoRA)偏好对齐Qwen-Image / SD3.5 Diffusion-DPO高效训练Mix-GRPO 或 Flow-GRPO Rollout Correction视频生成Wan2.2 DanceGRPO音视频联合生成MiniMax-H3 DiffusionNFT / Flow-GRPOOmni 多模态Qwen3-Omni GSPOVeRL-Omni 用模型 × 算法矩阵覆盖了图像、视频、音频到全模态的主要 RL 后训练场景且每个组合都配有可直接运行的示例脚本。先从上表定位你的场景再进入对应examples/目录即可开训。赞分享【免费下载链接】verl-omniMultimodal RL training framework for diffusion omni models项目地址https://gitcode.com/gh_mirrors/ve/verl-omni点击查看免费下载相关推荐vllm-metal 支持哪些模型2026 完整支持矩阵与选型清单vllm metal 支持哪些模型2026 完整支持矩阵与选型清单 vllm metal 支持哪些模型 一句话回答几乎你能想到的主流开源大模型——Q钉钉 AI 助理支持选择哪些 DeepSeek 模型钉钉 AI 助理支持选择哪些 DeepSeek 模型 在钉钉中创建 AI 助理时需要在「模型配置」里为助理选择一个 DeepSeek 模型。基于 aweso文档12主流语音模型一个框架全搞定SGLang-Omni模型支持清单与选型指南12主流语音模型一个框架全搞定SGLang Omni模型支持清单与选型指南 SGLang Omni 是一个面向 音频模型TTS 语音合成、ASR 语音识别人工智能大模型模型推理服务多模态语音音频后端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考