【免费下载链接】hipfireRDNA-native LLM inference engine in Rust.项目地址https://gitcode.com/gh_mirrors/hi/hipfire点击查看免费下载hipfire 是一个用 Rust 编写的 RDNA 原生 LLM 推理引擎专为 AMD 显卡打造。它的杀手锏之一是MoE 专家卸载expert offload把 MoE 模型里放不进显存的专家层映射到系统内存从而让Qwen3.8-Flash这类约125GB的巨型 MoE 模型在一张32GB 显卡如 Radeon AI PRO R9700加足够内存的机器上完整跑起来。本文用通俗语言拆解 hipfire 背后的四层思路帮你理解为什么显存不够不再是跑不动的借口。125GB 的 MoE 模型为什么 32GB 显卡也有得跑先泼一盆冷水Qwen3.8-Flashregistry 标签qwen3.8:flash-next的单体量化文件约125.3 GB任何 32GB 显卡都装不下这是算术问题没有奇迹。但 MoE 模型的结构给了一个天然突破口。以 Qwen3.8-Flash 为例它有49 个 MoE 路由层、24576 个专家但每个 token 只激活其中 8 个top-8 路由也就是说每一步计算真正用到的专家只是一小部分其余 90% 以上的专家权重大部分时间睡大觉模型里注意力、GDN 状态、语言头这些每步必算的骨干权重才必须留在显存里。hipfire 的专家卸载就是抓住这一点显存只放骨干权重 最热的专家剩下的专家层整体放进主机内存pinned host RAM需要时再访问。速度会有代价下文有实测曲线但模型从拒绝加载变成可以日常用这正是卸载的第一目标——官方设计文档的原话是先让装不下的模型能跑起来速度是二阶问题docs/plans/partial-gpu-offload-design.md。拆包加载split base PLE 旁车要卸载先得把 125GB 拆成该进显存和该进内存两部分。hipfire 对 Flash-Next 采用split base拆分基座方案部件大小去向split baseqwen3.8-flash-next-base.mq4-xts70.9 GB显存装多少装多少剩余专家层映射到主机内存PLE n-gram 行表共享旁车q4 版29.1 GB放在主机内存走 page cache 预温expert-hotset 排名旁车~213 KB决定哪些专家算热的split base由上一代 125.3GB 单体文件用hipfire ple split拆分而来1197 个骨干张量与单体文件逐字节一致只是把 128 个 PLE n-gram 分片剥离成独立旁车配方与摘要见 AGENTS.md 的 Pinned Flash-Next bench fixture 一节。PLE 行表Flash-Next 的 n-gram 加速行。它本身体积大q4 约 29GB所以放在主机内存靠 docs/MODELS.md 里描述的ple_prewarm机制在空闲时把最热行预温进 page cache请求一来不卡盘。下载时用一条命令即可客户端会交互式询问选哪档hipfire pull qwen3.8:flash标签档位、体积与小卡如何从主机内存映射剩余专家的说明集中在 docs/PICK-A-MODEL.md48–72 GB 一行A smaller card maps the remaining experts from host RAM (the 0.4.4 release smoke ran it on a 32 GB R9700 and a 24 GB 7900 XTX)。放置算法auto 自动放置把能塞多少塞多少做成默认拿到拆包后hipfire 的放置器决定哪些 MoE 层的专家留在 VRAM、哪些 host-mapped。核心规则docs/CONFIG.md partial-offload 一节auto 是默认路径不设置memory.moe_expert_budget/HIPFIRE_QWEN4_EXPERT_VRAM_LAYERS时加载器按fit-capacity placement自动决定——先放骨干权重再逐层塞路由专家直到显存预算用尽其余层自动落到 pinned 主机内存。手动旋钮HIPFIRE_QWEN4_EXPERT_VRAM_LAYERSN表示前 N 层的专家留显存、第 N 层起进内存适合想精确控制 VRAM 占用的进阶用户。热专家旁车expert-hotsetFlash-Next 附带一个按 decode 热度排名的专家旁车约 213KBgfx1201 上会自动应用让显存优先留给最常激活的专家而不是平均分配。失败要响亮放不下的配置不是 OOM 闪退而是在加载时明确拒绝并打印具体是哪个旋钮、差多少字节docs/SERVE.md 对 partial-offload refusal 有完整清单。一个硬性前提主机内存要够大。实测结论docs/MODELS.md、docs/EMU.mdFlash-Next 有 38–61GB 的路由专家要 host-mapped16GB 显存 64GB 内存的机器会因 GTT 上限加载失败32GB 显卡跑它通常建议 128GB 主机内存。PCIe 直通GPU 直接读内存里的专家专家放在内存里谁来算hipfire 默认答案是——还是 GPU 算。memory.offload_exec默认是pcie模式host-mapped 权重通过 pinned 零拷贝内存对 GPU 可见GPU kernel 直接沿着 PCIe 链路读取内存中的专家权重不需要先拷进显存。这是性能与复杂度的平衡点每个 token 只激活 top-8 专家单步要搬的字节数有限换一批专家再读一遍链路带宽就是天花板但没有来回拷贝的往返延迟。hipfire 还有一个测速再决定的机制docs/CONFIG.md D2 measured default加载时实测本机 PCIe 链路与 CPU GEMV 的速度只有当 CPU 直算至少快 15% 时才切到 CPU 执行否则坚持 PCIe 路线——决策悲观对待 CPU、乐观对待 PCIe宁可不切。卸载的档位怎么选看实测前沿曲线docs/perf-checkpoints/2026-10-04-moe-offload-manual-vs-auto.md上图以 Qwen3.5-35B 为同构样本40 层、每层 408MiB 专家卸载 13 层时 decode 约 63 tok/s卸载 36 层时约 42 tok/s——每多放走一层专家速度线性掉一点但从不崩溃。auto 放置落在能塞下的最小卸载量上14 层 host-mapped62.9 tok/s与手工调参几乎重合。作为参照llama.cpp 在同等卸载量下的锚点曲线实测成绩32GB R9700 上的 Qwen3.8-Flash 有多快v0.4.4 发布版在R970032GB 主机内存上跑qwen3.8:flash-nextsplit base hot set10-27 实测docs/PICK-A-MODEL.md模式代码类 prompt散文类 promptAR decode49.7 tok/s45.6 tok/s原生 MTP--spec mtp82.9 tok/s48.5 tok/sprefill16K 上下文6,647.8 tok/s—日常对话 40–50 tok/s 已可读开启原生 MTP 投机解码后代码场景逼近 83 tok/s。注意这些是特定构建、特定 prompt 的单点测量不是保底值——官方文档对此有明确的历史测量声明。进阶与替代路线双卡 EP、统一内存 APU单卡卸载是能跑的保底方案如果你的硬件更好hipfire 还有更快的路双卡/多卡专家并行EP2–8 张同架构卡设topology.ep N专家直接分片到多卡显存。实测 2×32GB R9700 在 32K 上下文下每卡仍 host-map 19/49 层EP4 可全部驻留且 prefill 比单卡还快docs/multi-gpu.md。统一内存 APUStrix Halo128GB 统一内存可把整个模型放进单一内存池无需卸载甚至能挂 XDNA2 NPU 做 trunk prefill16K prefill 2472 tok/s。更小的卡 更低档位qwen3.8:flash-next-mq2-xts档位base 44.5GB让小卡更从容。上手清单与常见问题三步跑起来以 32GB R9700 128GB 内存为例hipfire pull qwen3.8:flash # 拉取 split base PLE 旁车 hotset hipfire run qwen3.8:flash 你好 --stats hipfire serve # 需要 HTTP 服务时排障时记住这些拒绝信息都是有意设计的docs/CLI.md 有 fit 报告的experts/host_ram/gtt三类结论DOES NOT FITfix:行说明差多少 VRAM / 内存按提示加内存或换小档位而不是盲目重试16GB 卡 64GB 内存加载失败GTT 上限问题属已知限制加内存或换 24GB/32GB 卡速度低于预期先看加载日志里qwen4 expert placement一行确认多少层专家驻留、多少 host-mapped——卸载越多越慢是物理规律想快就加卡上 EP主机内存吃紧PLE 表 29GB 也占内存--ple q4拉低精度旁车可以省约 25GB 磁盘与内存压力docs/MODELS.md。小结专家卸载让显存焦虑变成内存焦虑hipfire 用四个环环相扣的设计把 125GB 的 Qwen3.8-Flash 塞进了 32GB 显卡的机器split base 拆包——骨干与专家物理解耦各得其所auto 放置 hotset 热排名——显存留给最该在的权重其余进 pinned 内存PCIe 零拷贝直通——GPU kernel 直接读内存中的专家少一次拷贝往返响亮拒绝 实测选路——装不下就说清楚差多少执行路线用实测数据说话而不是拍脑袋。代价是 decode 速度随卸载量线性下降收益是原本拒绝加载的模型变成日常可用的模型——对 32GB 显卡用户来说40–80 tok/s 的 Qwen3.8-Flash 和无法加载之间没有中间选项。延伸阅读docs/ARCHITECTURE.md含 CPU 执行核心 crates/hipfire-cpu/、docs/QUANTIZATION.md、docs/GETTING_STARTED.md。赞分享【免费下载链接】hipfireRDNA-native LLM inference engine in Rust.项目地址https://gitcode.com/gh_mirrors/hi/hipfire点击查看免费下载相关推荐消费级显卡跑124B MoELing-3.0-flash-GGUF多GPU与CPU专家层卸载实战消费级显卡跑124B MoELing 3.0 flash GGUF多GPU与CPU专家层卸载实战 Ling 3.0 flash GGUF 是 inclusioDeepSeek-V4-Flash MoE路由机制揭秘256专家Top-6选择与哈希路由设计DeepSeek V4 Flash MoE路由机制揭秘256专家Top 6选择与哈希路由设计 本文带你通俗拆解 DeepSeek V4 Flash 的 MoE老卡不慌Tesla V100 32GB 跑通 H3 的完整部署实录老卡不慌Tesla V100 32GB 跑通 H3 的完整部署实录 MiniMax H3 开源后社区的目光几乎全部落在新卡上RTX 5060 Ti 用户研人工智能大模型LoRA视频媒体生成上一篇Install with Options打破Android安装限制的3个实用技巧下一篇K-Vault 文本 Paste 功能详解两条命令搭建你的私有 Gist 替代品创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考