【免费下载链接】agent-vision-toolkit为纯文本模型看图“设计更好的视觉工具箱和技能支持多图理解图片问答前端UI还原、GUI 自动化等并可选无缝接入多个主流agent直接识别粘贴图片 A vision toolkit and skill designed for text-only llms — image QA, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode项目地址https://gitcode.com/gh_mirrors/ag/agent-vision-toolkit点击查看免费下载agent-vision-toolkit 是一套面向纯文本大模型LLM的开源视觉工具箱它为 Codex、Claude Code、OpenCode 等 Agent 装上眼睛图片问答、长截图 OCR、前端 UI 还原、GUI 自动化都能完成还可选无缝接入主流 Agent 框架——你直接粘贴一张图片纯文本的 DeepSeek 也能看懂。为什么纯文本模型看不见图很多高性价比的文本模型如 DeepSeek 系列本身不支持多模态Agent 想调用内置看图工具如view_image时会被系统直接拦截——view_image is not allowed because you do not support image inputs。agent-vision-toolkit 的思路很直接视觉能力不一定长在模型上也可以长在 Agent 的壳harness上。它提供两层能力视觉工具箱 Skill一组本地 CLI 工具教 Agent 何时看、看哪里、怎么验收任何能执行 shell 的 Agent 都能用无缝接入层可选升级透明本地代理 vision_proxy.py 与单文件原生插件让你粘贴的图片、Agent 内置看图工具都自动走图片转任务描述的通路无需改提示词。所有代码均已在真实 Codex DeepSeek 会话中验证并在 Claude Code、Pi、Oh My Pi、OpenCode 中完成端到端验证。详见 README_CN.md。核心原理focus hint 让模型按任务看图市面上的图片转文字方案大多让多模态模型输出一段通用描述再交给文本模型自己猜——中间隔着一层语义信息必然丢失这也是缝合方案必然掉效果这一刻板印象的来源。agent-vision-toolkit 的做法是先搞清楚 Agent 为什么要看这张图从用户消息、或模型调用内置看图工具时自述的理由中提取看图动机作为focus hint一并交给视觉模型。返回的就不再是一个带侧边栏的软件界面这种泛泛描述而是突出当前这一步真正要紧的细节布局、组件、间距、颜色、层级……。同一张图通用提示词返回的是空泛描述任务感知方案则围绕将这个 UI 复刻成一个 HTML 页面这一意图精准产出复刻所需的视觉细节——成本更低、准确率更高、响应更快。文本模型看图常见场景图片问答、UI 还原、长图 OCR工具箱内置的 vision-skills 会教 Agent 根据问题选工具你想问什么用什么工具这张图长什么样 / 写了什么glance图片问答、OCRX 在哪里ground定位单个目标输出像素坐标所有 X 都在哪detect盘点某类元素精确形状是什么trace本地确定性矢量化为 SVG把这块裁出来crop裁出像素区域几个真实效果 图片问答与调试DeepSeek 直接看懂 UI 截图回答这种前端背景风格叫什么并对比 Mesh Gradient、Aurora 等相近风格GUI 自动化用ground在截图中定位国际象棋棋子的坐标DeepSeek V4 就这样看着屏幕自主下棋一路下到 CHECKMATE从手绘稿到成品界面把一张手绘 JupyterLab 界面交给 Agent它能按 UI 还原 playbook 优先复用项目已有组件结合截图素材、渲染对比逐轮对齐最终产出可运行的还原界面信息图还原一句话把 PPT 风格信息图复刻为可编辑的 HTML/CSS长截图 OCR对几千像素高的聊天记录长截图内置脚本会自动寻找安全切口、逐块 OCR、合并重叠内容并输出边界复查报告180 条消息 0 丢失。完整示例见 examples/long-screenshot-ocr/ 与方法论文档。一键安装最快接入方式最简单的安装方式是把这句话直接发给你的 AgentCodex、Claude Code 均可根据 https://gitcode.com/gh_mirrors/ag/agent-vision-toolkit 的仓库指引在本地安装视觉工具箱和 skill。如果视觉 API 尚未配置请按当前系统找到配置文件并引导我填写VISION_API_KEY、VISION_BASE_URL和VISION_MODEL。你只需要准备一个多模态视觉 API支持 OpenAI Chat Completions、OpenAI Responses 或 Anthropic Messages 均可的 base URL、API key 和模型名Agent 会引导你完成写入。偏好手动安装的三步即可配置视觉 API在~/.config/agent-vision-toolkit/env写入VISION_API_KEY、VISION_BASE_URL、VISION_MODEL三个变量把 CLI 加入 PATHgit clone https://gitcode.com/gh_mirrors/ag/agent-vision-toolkit后将bin/目录加入 PATHglance仅需 Python 3.11安装 Skill把skills/vision-skills/复制到 Agent 的 skills 目录如~/.codex/skills/重启生效。无缝接入粘贴图片即识内置看图不再报错如果你希望粘贴图片直接可用、Agent 调内置看图工具也不再报错可以启用可选的接入层完整流程见 AGENT_INSTALL.mdAgent接入方式状态Codex透明本地代理Responses API✅ 已验证Claude Code同一代理指向ANTHROPIC_BASE_URL即可✅ 已验证Pi / Oh My Pi单文件原生 extensionextensions/pi/✅ 已验证OpenCode单文件原生 pluginextensions/opencode/✅ 已验证任何有 shell 的 Agent直接用上面的工具箱无需接入✅所有入口共享同一份VISION_*配置配一次处处可用。常见问题再加一个多模态模型费用会暴涨吗不会。每次看图只把意图 图片送入视觉模型上下文且有截断机制不存在超长或累积上下文的问题。想进一步省钱还可以用本地部署的小多模态模型如 Gemma 4、Qwen 3.5/3.6 系列充当视觉后端。有哪些限制它是图片转文字的一层并不会把视觉 token 直接喂给文本模型整体效果由主 LLM 多模态 LLM 共同决定代理缓存仅存于进程内重启会清空。一句话总结agent-vision-toolkit 证明了纯文本模型不一定要换模型才能看图——用对工具箱和方法论带工具的文本模型 Agent 在多模态任务上的体验可以无限接近甚至反超原生多模态方案。如果它为你省了时间不妨去仓库点个 Star或直接让 Agent 帮你一键装上这双眼睛 赞分享【免费下载链接】agent-vision-toolkit为纯文本模型看图“设计更好的视觉工具箱和技能支持多图理解图片问答前端UI还原、GUI 自动化等并可选无缝接入多个主流agent直接识别粘贴图片 A vision toolkit and skill designed for text-only llms — image QA, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode项目地址https://gitcode.com/gh_mirrors/ag/agent-vision-toolkit点击查看免费下载相关推荐Tortoise ORM 与 PyLint为元类构建的异步 ORM 装上一双看懂模型的眼睛Tortoise ORM 与 PyLint为元类构建的异步 ORM 装上一双看懂模型的眼睛 Tortoise ORM 基于元类Metaclass在类定数据库后端Fay 数字人框架配置完整指南改对两个文件一次跑通Fay 数字人框架配置完整指南改对两个文件一次跑通 你在 system.conf 里填了 API 密钥重启后数字人还是不回话别急着怀疑密钥本身。先弄清告别纯文本交互GPT4All多模态革命让AI看懂你的图片和文字告别纯文本交互GPT4All多模态革命让AI看懂你的图片和文字 GPT4All是一款开源的本地运行大型语言模型聊天机器人它彻底改变了我们与AI交互的方式。人工智能大模型本地部署AI 应用交互助手RAG创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考