【免费下载链接】Agents-A1-F16-GGUF项目地址https://ai.gitcode.com/InternScience/Agents-A1-F16-GGUF点击查看免费下载Agents-A1-F16-GGUF 是 InternScience 开源智能体模型 Agents-A1 35B 的F1616位浮点GGUF 本地部署版配合刚发布的 4B 轻量模型构成了从高端工作站到消费级硬件的完整本地 AI 智能体方案。本文带你一图看懂这个生态并给出一条可落地的本地部署路线图。 仓库解剖Agents-A1-F16-GGUF 里有什么打开本仓库核心就是两个 GGUF 权重文件和一份模型卡文件体积说明Agents-A1-F16.gguf约 69.4 GB64 GiB35B 语言模型主体权重F16 全精度Agents-A1-mmproj.gguf约 900 MB858 MiB多模态视觉投影器mmproj用于图片理解README.md—模型卡、评测数据与使用说明figures/a1_benchmarks_altair_grid.svg—官方基准成绩总览图两个关键名词先扫盲GGUF本地推理生态llama.cpp、LM Studio、Ollama 等通用的开源权重格式下载即可加载不需要 GPU 厂商 SDKF16GGUF 中的 16 位浮点档位权重未经有损压缩是精度损失最小的本地版本——代价就是 64 GiB 的大体积。Agents-A1 本身是一个带视觉能力VLM的智能体模型所以单独附带了mmproj.gguf需要看图时推理引擎会把视觉编码器与语言模型拼在一起使用。 生态全景Agents-A1 家族的时间线按照 README.md 中的 News 时间线Agents-A1 生态在两个月内快速成型时间里程碑2026.6.26开源旗舰Agents-A1 35B-A3B模型、评测代码与技术报告2026.7.2发布一系列量化版本mlx-community 社区贡献多档量化Mac 用户可跑2026.7.8预告 4B 轻量版让本地 AI 助手构建更快更简单2026.7.144B 模型正式发布对应的部署形态可以这样对号入座35B 全量版Transformers 格式→ vLLM / SGLang 服务化部署262K 长上下文本仓库 F16 GGUF→ llama.cpp 系生态单机本地跑满血精度其他量化档位Q8、Q4 等见官方 Agents-A1 集合→ 内存受限时的降档选择4B 版→ 消费级显卡、笔记本与边缘设备Mac 用户→ 优先尝试 mlx-community 的量化版本。一句话旗舰拼能力4B 拼普惠GGUF 拼易用。 35B 旗舰实力速览Agents-A1 是35B 总参数 / 约 3B 激活参数的 MoE 架构智能体模型每个 token 只激活约 3B 参数因此推理速度快、吞吐高而脑子容量接近大得多的稠密模型。它面向五类核心能力长程搜索、工程任务、科学研究、指令遵循与工具调用并原生支持 function calling。从官方模型卡看它在多个高难度基准上取得Overall SOTA并在同级模型中领跑基准成绩亮点Seal-0 56.4长程搜索整体 SOTAHiPhO 46.4科研推理整体 SOTAFrontierScience-Olympiad 79.0科研竞赛整体 SOTAIFBench 80.6指令遵循整体 SOTAIFEval 94.8指令遵循整体 SOTAGAIA 96.0通用智能体同级最佳BrowseComp 75.5长程网页搜索同级最佳MolBench-bind 56.8科学智能体同级最佳也就是说一个 35B 量级的模型在长程搜索和科研推理上追平甚至超过了 GPT-5.5、DeepSeek-V4-pro 等万亿级旗舰——这正是Scaling the Horizon, Not the Parameters扩展任务跨度而非参数规模的题中之义。️ 本地部署路线图从权重到智能体1️⃣ 获取权重Git LFS两个 GGUF 大文件通过 Git LFS 存储克隆后记得拉取实体数据git clone https://gitcode.com/InternScience/Agents-A1-F16-GGUF cd Agents-A1-F16-GGUF git lfs pull2️⃣ 选择推理引擎引擎适合人群说明LM Studio新手图形界面导入 GGUF 即可对话支持挂载 mmprojOllama轻量脚本党一条命令起模型便于接入上层应用llama.cpp折腾党命令行启动llama-server可控性最强3️⃣ 硬件怎么选参考F16 35B64 GiB 权重建议 96 GiB 显存/统一内存起步或双 48G 显卡 CPU 卸载组合。得益于 MoE 仅 3B 激活把部分专家卸载到内存后仍可获得可用速度上下文官方部署支持 262K 长上下文KV Cache 很吃内存本地建议从 8K–32K 起步按需上调4B 版约 8–16 GiB 内存即可运行主流消费级显卡和 Mac 都能流畅体验只有 Mac优先考虑 mlx-community 的量化版本统一内存架构下体验更佳。4️⃣ 官方推荐采样参数参数值temperature0.85top_p0.95top_k20min_p0.0presence_penalty1.1repetition_penalty1.05️⃣ 从能跑到能干活部署只是第一步。给模型写好系统提示词角色 工具清单 输出规范再挂上搜索、代码解释器等工具Agents-A1 的长程规划与原生工具调用能力就能转化为真正可用的本地 AI 智能体需要看图时加载 Agents-A1-mmproj.gguf 即可开启视觉输入。❓ 常见问题 FAQQ为什么选 F16 而不是 Q4 量化F16 几乎零精度损失是本地体验旗舰上限的最优选如果你的内存放不下 64 GiB再考虑 Q8/Q4 档位或直接用 4B 版。Qmmproj 文件是必须下载的吗纯文本使用不需要但只要要处理图片输入Agents-A1 是视觉语言模型就必须加载它。Q4B 和 35B 差距大吗4B 定位是更快更轻的本地助手适合日常对话与轻量任务复杂长程搜索、深度科研推理仍是 35B 旗舰的主场。 总结一张表看懂选型你的硬件推荐模型形态96G 显存/统一内存工作站35B本仓库 F16 GGUF满血本地体验24–48G 显卡35B官方其他量化档位 MoE 卸载消费级显卡 / Mac / 边缘设备4BGGUF 或 mlx 量化版数据中心服务化35BTransformers 权重 vLLM/SGLang从 35B 到 4BAgents-A1 生态用一个旗舰 一个轻量 多档量化 多生态权重的组合拳把智能体模型真正搬进了本地机器。无论你是想在工作站上跑满血 F16还是想在笔记本上养一个 4B 助手这条路线图都给出了明确答案。赞分享【免费下载链接】Agents-A1-F16-GGUF项目地址https://ai.gitcode.com/InternScience/Agents-A1-F16-GGUF点击查看免费下载相关推荐一文读懂Sage-A1.5-F16-GGUF35B MoE智能体大模型的GGUF本地部署完整指南一文读懂Sage A1.5 F16 GGUF35B MoE智能体大模型的GGUF本地部署完整指南 Sage A1.5 F16 GGUF 是 Intern大模型基础模型多模态本地部署AI Agentgemma-4-12B-it-GGUF 生态全景图llama.app移动端、GGUF量化与dflash路线图前瞻gemma 4 12B it GGUF 生态全景图llama.app移动端、GGUF量化与dflash路线图前瞻 gemma 4 12B it GGUF 是谷开源35B智能体模型Agent来了Agents-A1-Q8_0-GGUF完整解读本地跑出SOTA级Agent能力开源35B智能体模型Agent来了Agents A1 Q8_0 GGUF完整解读本地跑出SOTA级Agent能力 Agents A1 Q8_0 GGUF 是人工智能大模型基础模型AI Agent本地部署模型量化多模态工具调用创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考