【免费下载链接】translategemma-4b-it_rai_1.8.0_npu_4K项目地址https://ai.gitcode.com/hf_mirrors/amd/translategemma-4b-it_rai_1.8.0_npu_4K点击查看免费下载translategemma-4b-it_rai_1.8.0_npu_4K是 AMD 官方为Ryzen AI NPU芯片内置神经处理单元优化的 40 亿参数 AI 翻译模型支持 200 多种语言的文字与图片翻译。本文基于仓库内的 rai_config.json 与 genai_config.json 两份配置整理出 **RAI 1.3 至 1.7 各版本的 Prompt 长度限制2048 / 4096 token**与NPU 硬件要求完整兼容性清单帮你在部署前一次性选对配置。一、translategemma-4b-it 是什么30秒快速认识translategemma-4b-it 是 Google 基于 Gemma 3 4B 架构推出的翻译专用指令模型AMD 将其重新量化并打包成 NPU 部署版量化方案AWQ Group 128 uint4 权重 BFP16 激活速度与显存占用兼顾详见 README.md模型结构34 层 Transformer8 个注意力头 / 4 个 KV 头GQA 分组注意力隐藏层 2560见 config.json运行形态ONNX 模型 NPU 全融合Full Fusion预编译产物npu_4K 表示按 4096 token 上下文预编译使用方式这是翻译专用模型而非通用聊天模型对话模板已内置调用时需指定源语言与目标语言代码支持文字和图片两种模式见 chat_template.jinja 一句话理解这是一套开箱即用的 AMD Ryzen AI PC 端 AI 翻译模型包专注翻译场景。核心文件速览表文件作用model.onnx model.onnx.data模型图约 513 MB与权重数据约 3.0 GBrai_config.jsonRAI 版本 → 最大 Prompt 长度 兼容性清单genai_config.jsonNPU 运行参数KV Cache 上限、采样策略config.json模型架构与量化配置chat_template.jinja翻译对话模板与 200 语言映射dd_metastate_*.meta/.super/.ctrlpktNPU 全融合预编译产物Prefill / Decode 两种形态二、RAI 1.3 至 1.7 Prompt 长度限制兼容性清单这是全文最核心的部分。rai_config.json 中明确给出了每个 RAIRyzen AI运行时版本对应的max_prompt_lengthRAI 运行时版本最大 Prompt 长度token说明1.3.12048旧版运行时Prefill 仅支持 2K1.4.02048同上1.4.12048同上1.5.02048同上1.5.120482K 档位最后一版1.6.04096分水岭解锁 4K1.7.04096完整 4K 支持1.7.14096完整 4K 支持关键结论一句话RAI 1.6.0 是版本分水岭——1.6.0 之前的运行时 Prompt 上限为 2048 token从 1.6.0 起解锁到 4096 token即 4K。而本模型包自身面向 1.8.0 构建默认即可用满 4K。为什么会有差异2048 与 4096 从哪来NPU 上模型分两阶段运行Prefill预填充一次性处理整个 PromptDecode解码逐 token 生成。仓库中按长度分桶预编译了融合产物Prefill 覆盖 128–4096 各档位例如 dd_metastate_Llm_Prefill_...sequence_length_padded_4096.metaDecode 覆盖 256–4096 的 attention mask 档位genai_config.json 将max_lenght_for_kv_cache与最大生成长度均限定为4096KV Cache 只预留 4K 空间旧版运行时≤1.5.1不具备 4K 的 Prefill 形状因此 Prompt 只能封顶 2048给生成留出预算⚠️ 注意区分4096 是输入 Prompt的上限输出长度另受max_length同为 4096限制见 genai_config.json两者不要混淆。旧版本用户的实操建议先确认本机 Ryzen AI 运行时版本若为 1.3.1–1.5.1请把待翻译文本控制在2048 token 以内中文约 1500 字上下长文档建议分段翻译每段保持语义完整1.6.0 及以上可直接用满 4096 token超长内容再分段三、硬件要求什么机器能跑这个模型NPU 与运行时版本要求项目要求芯片带 NPU 的 AMD Ryzen AI 系列处理器Ryzen AI 300 / PRO 300 等运行时Ryzen AI 1.3.1 及以上推荐 1.8.0本包构建版本系统Windows 11Ryzen AI 运行时主平台内存与存储要求项目规格 / 建议说明模型文件体积约 513 MB模型图 约 3.0 GB权重磁盘占用总计约 3.5 GBNPU 内存建议 16 GB 及以上4B uint4 权重约 2.5 GB加上 4K KV Cache 开销8 GB NPU 也能运行但长上下文偏紧系统内存32 GB 推荐CPU/GPU 混合卸载hybrid需要充足系统内存存储SSD 推荐ONNX 大文件读取速度直接影响首次推理延迟✅ uint4 量化是关键4B 模型权重仅约 2.5 GB配合 16 GB 级 NPU 内存即可稳定跑满 4K 上下文。四、读懂 npu_4K理论 128K 与实战 4K 的差距参数取值出处理论上下文长度131072config.jsonmax_position_embeddingsNPU 实际 KV Cache 上限4096genai_config.jsonmax_lenght_for_kv_cache最大生成长度4096genai_config.jsonmax_length也就是说模型架构本身支持 128K 上下文但经过 NPU 部署后4096 才是实际上限——这正是型号中 4K 的含义也与 RAI 1.6.0 起的 Prompt 上限完全对齐。五、快速上手四步走获取模型包git clone https://gitcode.com/hf_mirrors/amd/translategemma-4b-it_rai_1.8.0_npu_4K注意model.onnx.data等大文件通过 Git LFS 存储克隆时会自动拉取安装 Ryzen AI 运行时按 README.md 指引的官方文档hybrid OGA 流程安装建议 1.8.0加载模型将运行时指向本目录genai_config.json会被自动读取发起翻译对话消息中提供source_lang_code与target_lang_code如zh/en图片翻译时传入图片内容即可图片按 256 个视觉 token 计入 Prompt 预算见 preprocessor_config.json六、常见问题 FAQQ1我用 RAI 1.8.0Prompt 上限就是 4096 吗是的。本包按 1.8.0 的 4K 上下文构建并完成全融合预编译输入上限即 4096 token。Q2为什么不用满 128K 上下文NPU 的 KV Cache 被max_lenght_for_kv_cache限定为 4096且 Prefill 只预编译了 128–4096 的分桶形状超出 4K 无法在 NPU 上运行。Q3旧版本 2048 的限制是包含输出吗不包含。2048 / 4096 指输入 Prompt 上限输出长度由max_length4096单独控制。Q4能当通用聊天模型用吗不建议。该模型针对翻译任务做了指令微调对话模板也是翻译导向通用对话请改用通用对话模型。本文基于开源模型包 translategemma-4b-it_rai_1.8.0_npu_4K 编写具体配置以仓库内 JSON 文件为准。赞分享【免费下载链接】translategemma-4b-it_rai_1.8.0_npu_4K项目地址https://ai.gitcode.com/hf_mirrors/amd/translategemma-4b-it_rai_1.8.0_npu_4K点击查看免费下载相关推荐兼容哪些Ryzen AI版本Qwen2.5_3B_Instruct_rai_1.8.0_hybrid版本支持矩阵与Prompt长度限制兼容哪些Ryzen AI版本Qwen2.5_3B_Instruct_rai_1.8.0_hybrid版本支持矩阵与Prompt长度限制 Qwen2.5_3B_rai_config.json 版本兼容指南Llama-3.2-3B_rai_1.8.0_npu_16K 各 Ryzen AI 版本提示词长度限制rai_config.json 版本兼容指南Llama 3.2 3B_rai_1.8.0_npu_16K 各 Ryzen AI 版本提示词长度限制 LlamaLocalSend版本兼容性矩阵各平台最低系统要求详解LocalSend版本兼容性矩阵各平台最低系统要求详解 痛点场景跨平台文件传输的兼容性挑战 你是否曾经遇到过这样的情况在Windows电脑上安装了最新版本即时通讯跨平台上一篇Goober 开源项目教程下一篇JoyAI-Image-Edit相机控制技巧3D场景视角调整的终极指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考