【免费下载链接】sonic-moeAccelerating MoE with IO and Tile-aware Optimizations项目地址https://gitcode.com/gh_mirrors/so/sonic-moe点击查看免费下载SonicMoE是一个专为MoEMixture-of-Experts混合专家模型训练与推理加速设计的开源库支持 NVIDIA HopperH100、Blackwell 数据中心卡B200/B300和消费级显卡RTX 5090。它通过 IO 感知算法与 Tile 感知优化在激活显存占用和训练吞吐上均取得领先表现。本文是一份面向新手的SonicMoE API 完整参考从 MoE 层配置参数、3 大 Kernel 后端到 7 种激活函数的选择一次讲透。为什么需要 MoE 加速库MoE 模型的每一层由 E 个专家组成每个 token 只路由到其中 K 个专家。一个标准 MoE 前向需要依次执行gather 收集 token → up-proj 分组 GEMM → 激活函数 → down-proj 分组 GEMM → scatter 专家聚合共 6 个独立 kernel且中间大量张量gathered X、Y 等都需要缓存到 HBM 供反向使用。下图左侧展示了标准 MoE 前向的计算流程右侧给出了对应的 PyTorch 参考实现代码黄色虚线为 kernel 边界专家越多、粒度越细这些O(T·K·d)大小的中间张量就越吃显存、IO 开销越大。SonicMoE 的核心思路是绕过所有需要缓存的大张量把 gather、激活、聚合等操作融合进 Grouped GEMM kernel 内部从而让单层激活显存与专家粒度解耦并大幅减少 HBM 读写。快速上手安装与 5 行代码创建 MoE 层安装步骤环境要求CUDA 12.9B300 需 13.0、Python 3.12、PyTorch 2.11。依赖声明见 requirements.txtpip install sonic-moe最小可运行示例import torch from sonicmoe import MoE, KernelBackendMoE from sonicmoe.enums import ActivationType moe MoE( num_experts128, # 专家数量 E num_experts_per_tok8, # 每 token 选 K 个专家 hidden_size4096, # 隐层维度 d intermediate_size1536, # 专家中间维度 n activation_functionActivationType.SWIGLU, # 激活函数 add_biasFalse, std0.02, # 权重初始化标准差 ).to(devicecuda, dtypetorch.bfloat16) x torch.randn(32768, 4096, devicecuda, dtypetorch.bfloat16) output, aux_loss moe(x, kernel_backend_moeKernelBackendMoE.sonicmoe)MoE是一个标准nn.Module定义见 sonicmoe/moe.py内部包含一个无 bias 的 router 线性层以及c_fcup-proj 专家和c_projdown-proj 专家两组专家权重。forward返回(输出张量, aux_loss)二元组其中aux_loss是 Switch-Transformer 风格的负载均衡损失推理模式下为None。MoE 层配置参考MoE 构造参数一览表MoE构造函数的全部参数如下参数类型说明num_expertsint专家总数 E。走 sonicmoe 快速路径要求E ≤ 32768num_experts_per_tokint每个 token 激活的专家数 Ktop-k 中的 khidden_sizeint模型隐层维度 dintermediate_sizeint专家中间维度 nGLU 类激活时 up-proj 输出为 2nactivation_functionActivationType激活函数见下文 7 选 1add_biasboolup/down 投影是否加 biasstdfloat专家权重初始化标准差常用 0.02forward的两个可选参数同样值得记住kernel_backend_moe选择 3 大 Kernel 后端之一默认sonicmoeis_inference_modeTrue时不缓存反向所需激活、不计算aux_loss显存更低。MoE 配置直接决定显存上限。下图以 Qwen3-235B 单层microbatch32k为例对比了不同 MoE 训练 kernel 的激活显存构成——SonicMoE 只缓存输入 X 和 pre-SwiGLU 激活 H单层仅需约 1.75 GiB远低于需要缓存 gathered X、Y 等张量的标准实现3 大 Kernel 后端对比详解KernelBackendMoEKernelBackendMoE是一个包含 3 个成员的枚举定义见 sonicmoe/enums.py决定了 MoE 前向/反向用哪套 kernel 执行后端实现方式适用场景sonicmoe默认基于 QuACK 的 CuTeDSL Grouped GEMM 自研 topk/聚合 Triton kernel全程 IO 感知优化训练/推理首选要求num_experts ≤ 32768scattermoe调用 XMAaccelerated-model-architectures的scattered_experts兼容现有 XMA 生态的过渡方案需额外安装依赖torch纯 PyTorch 循环实现按专家逐块F.linear数值参考基准用于验证正确性速度慢源码中的分派逻辑见 sonicmoe/moe.py默认且专家数不超 32768 时进入moe_TC_softmax_topk_layer快速路径否则先做路由计算再根据后端走scattermoe/torch分支此时传sonicmoe会抛出ValueError。sonicmoe 后端的前向由三个融合阶段组成——Gather 与 Grouped GEMM 融合的 up-proj、down-proj、以及把 scatter 与求和融在一起的专家聚合全程不缓存 gathered X / Y 等大张量7 种激活函数清单ActivationTypeActivationType枚举sonicmoe/enums.py定义了 7 种激活函数可按功能分为两类激活函数类别公式备注SWIGLUGLUu * silu(g)主流 MoE 模型默认选择GEGLUGLUgelu(g) * uGLU 家族REGLUGLUrelu(g) * uGLU 家族SILU普通silu(x)单路激活GELU普通gelu(x)单路激活RELU普通relu(x)单路激活RELU_SQ普通relu(x)²DeepSeek 风格两个关键注意点GLU 类激活SWIGLU/GEGLU/REGLU的 up-proj 输出维度是2 × intermediate_size门控分量 g 与上投影分量 u 以interleaved交错方式排列[gate_0, up_0, gate_1, up_1, ...]由 is_glu 判断归类后端支持范围不同sonicmoe 快速路径依赖 QuACK 的gemm_gated融合 kernel目前仅支持SWIGLU 和 GEGLU其余激活函数请搭配torch或scattermoe后端使用完整的 7 种激活映射表见 sonicmoe/moe.py。底层 Functional 接口两个入口与权重布局不想封装成nn.Module、直接调用 kernel 的用户可以使用 sonicmoe/functional/init.py 暴露的两个入口1️⃣ moe_TC_softmax_topk_layerTC top-K 路由内置 topk softmax 融合路由 kernelsonicmoe/functional/topk.py关键参数参数默认值说明is_softmax_over_topkTrueTruesoftmax(topk(logits))Falsetopk(softmax(logits))即 Qwen3 风格路由norm_topk_probsFalse仅对 topk-over-softmax 生效将选出的 K 个概率重归一化到和为 1concat_layoutFalseTrue表示 w1 采用 HuggingFace 模型的concatenated布局[gate_0...gate_{I-1}, up_0...up_{I-1}]与 Qwen3、Mixtral、DeepSeek 等预训练权重直接兼容is_inference_mode_enabledFalse推理模式跳过 preact 激活缓存2️⃣ moe_general_routing_inputs自定义路由接收外部算好的router_scores、token_indices需已按升序排序、expert_indices适合 token rounding 等自定义路由策略每个 token 可激活可变数量的专家。两类输入在 Grouped GEMM 中都按varlen-M组织——每个专家分到的 token 数不同M 维变长这正是 MoE kernel 优化的核心难点反向传播同样完整可用_UpProjection/_DownProjection两个autograd.Functionsonicmoe/functional/backward.py实现了 dX、dW1、dW2、dRouter 的全套梯度且通过交换求和顺序避免了缓存 down-proj 输出 Y。验证正确性与性能实测仓库自带完整测试套件与 benchmark 脚本# 1. 跑正确性测试与 torch 参考实现逐元素对比 make test # 2. TC top-K 路由 SwiGLU 的端到端性能 python benchmarks/moe-cute.py --thiek 32768,4096,1024,128,8 --activation swiglu # 3. Qwen3 风格路由 概率重归一化 python benchmarks/moe-cute.py --thiek 32768,4096,1024,128,8 --topk_over_softmax --norm_topk_probs其中--thiek依次表示 Ttoken 数、H隐层维度、I专家中间维度、E专家数、Ktop-k。测试覆盖的形状矩阵见 tests/moe_test.py自定义路由示例见 benchmarks/moe-token-rounding.py。下图为 SonicMoE 与 ScatterMoE、MoMoE、DeepGEMM 等基线在 H100 / B300 上覆盖 7B~685B 六种真实 MoE 配置的 forward/backward TFLOPS 对比——SonicMoE 在全部配置上保持领先常用文件路径速查文件作用sonicmoe/moe.pyMoE与Experts模块、7 种激活函数参考实现sonicmoe/enums.pyKernelBackendMoE、ActivationType枚举定义sonicmoe/functional/init.py两个 functional 入口 前反向 autograd 封装sonicmoe/functional/topk.pyCuTeDSL 融合 topk/softmax 路由 kernelsonicmoe/functional/backward.py反向偏置/门控梯度 Triton kernelsonicmoe/functional/reduction_over_k_gather.py专家聚合gather-and-sumkernelbenchmarks/moe-cute.py端到端性能基准脚本tests/moe_test.py正确性测试套件assets/2026-04-22-sonicmoe-blackwell.mdBlackwell 适配设计博客原理深读一句话总结配置MoE层时只需关注 5 个维度参数和激活函数sonicmoe后端 SWIGLU是默认最优组合加载 HuggingFace 预训练权重时记得用concat_layoutTrue追求极致显存效率就打开is_inference_mode。掌握以上 API即可把 SonicMoE 无缝接入你的 MoE 训练/推理流水线。赞分享【免费下载链接】sonic-moeAccelerating MoE with IO and Tile-aware Optimizations项目地址https://gitcode.com/gh_mirrors/so/sonic-moe点击查看免费下载相关推荐react-native-router API 完整参考清单Router 配置项与路由参数一次讲透react native router API 完整参考清单Router 配置项与路由参数一次讲透 react native router 是 Reaclibzmq C API完全参考zmq_ctx、zmq_socket、zmq_msg三大核心函数一次讲透libzmq C API完全参考zmq_ctx、zmq_socket、zmq_msg三大核心函数一次讲透 libzmq ZeroMQ 核心引擎C 实现消息队列网络通信TensorLayer 激活函数完全指南从 tl.act 内置函数到自定义激活与参数化激活层TensorLayer 激活函数完全指南从 tl.act 内置函数到自定义激活与参数化激活层 本篇技术指南围绕 TensorLayer 的 docs/modu人工智能深度学习强化学习上一篇深入MaterialTextField焦点体系mtf_hasFocus与mtf_openKeyboardOnFocus背后的键盘控制机制下一篇files-sdk 框架网关实战Next.js、Hono、NestJS 一键接入 React/Vue/Svelte 上传创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考