【免费下载链接】computer-use-linuxNative Linux desktop control for AI agents (MCP, Pi, CLI) — semantic AT-SPI trees, screenshots, window targeting, and input across GNOME, KDE, Hyprland, niri, COSMIC, i3, and X11.项目地址https://gitcode.com/gh_mirrors/co/computer-use-linux点击查看免费下载computer-use-linux是一个专为 AI Agent 打造的 Rust 原生 Linux 桌面控制 MCP 服务器提供语义化 AT-SPI 可访问性树、有界截图、合成器感知的窗口定位以及覆盖 GNOME、KDE、Hyprland、niri、COSMIC、i3 和 X11 的点击、输入与滚动能力。对 Pi Coding Agent 用户来说它最大的不同在于只需一条pi install命令就能获得一组懒加载的原生桌面工具——不用手写任何 MCP 配置还能在 Codemode 脚本里直接把截图变成图片。一条命令安装Pi 原生集成与 MCP 配置的区别传统的 MCP 接入方式需要在mcp.json里写command、args再配一个适配器。computer-use-linux 的 Pi 扩展走的是另一条路零 MCP 配置不需要pi-mcp-adapter不写mcp.json懒加载Pi 启动时只看到一个小型加载器工具真实工具按需激活不占用初始上下文单进程复用整个会话只启动一个 computer-use-linux 进程保证element_index快照与 portal 会话始终有效安装步骤如下需要 Pi 0.84.4 与 Node.js 22.19pi install npm:agent-sh/computer-use-linux然后重启 Pi 或执行/reload即可。注意这条命令不会把computer-use-linux加入PATH如果你还想在 shell 里跑doctor等子命令另行执行npm install -g agent-sh/computer-use-linux或cargo install computer-use-linux。扩展查找二进制的顺序是环境变量COMPUTER_USE_LINUX_BIN必须是绝对路径npm 包内已下载并校验的二进制PATH上的computer-use-linux来自 npm 全局安装或cargo install实现细节可参考 pi/extension/index.ts 中的defaultFindBinaryMCP 会话客户端在 pi/extension/mcp-client.ts。懒加载机制解析按需启用下一回合生效Pi 启动时唯一可见的是加载器工具computer_use_linux_tools它有两种用法① 按精确名称启用computer_use_linux_tools({ tools: [doctor, list_windows] })② 按能力语义搜索不知道工具名时特别好用computer_use_linux_tools({ query: observe a window and click a control })搜索会同时匹配工具名、描述和别名如click的别名包括 press button、mouse返回得分最高的 8 个工具。若什么都不传则默认启用doctor、list_windows、focused_window、get_app_state、get_tree_page五个观察类工具。启用后的工具有完整的上游 schema从下一个模型回合开始出现在工具列表中并在整个会话内保持激活computer_use_linux_doctor({}) computer_use_linux_list_windows({}) computer_use_linux_type_text({ text: hello, title: Notes })懒加载的核心价值在于时序控制时机发生的事安装扩展只注册加载器 工具定义不启动桌面进程第一次真实工具调用才启动 computer-use-linux 进程会话期间复用同一进程桌面动作被串行化执行/reload、切换会话或退出进程自动关闭这意味着纯写代码的任务里这个 MCP 服务器一个字节都不会多跑只有当 Agent 真正需要看桌面、点桌面时它才上线。Codemode 脚本实战截图结果直通 image()Codemode 脚本调用原生工具时拿到的是结构化结果{ text, images, isError }其中每个images元素都是标准的 MCP 图片块可以直接传给image()const result await tools.computer_use_linux_screenshot({}); if (result.isError) throw new Error(result.text); text(result.text); for (const block of result.images) image(block);这是专门为 codemode 沙箱设计的Pi 的 codemode 只会把声明了outputSchema的工具的structuredContent传给嵌套调用否则脚本只能拿到纯文本、图片块会被丢弃。相关输出 schema 定义在 pi/extension/index.ts 的NativeToolOutputSchema中图片保留行为的集成测试见 pi/test/index.test.ts。一个实用场景让 Pi 写一段 codemode 脚本先get_app_state观察窗口再用click点击目标元素并带screenshot_after: window把动作后的截图直接渲染回会话中——整个操作 → 验证闭环在一次工具调用内完成。六步安全操作循环官方 Skill 文档skills/computer-use-linux/SKILL.md给出了推荐的操作流程新手照着做即可启用工具打开get_app_state、list_windows和预期会用到的动作工具限定范围观察调用computer_use_linux_get_app_state时务必传app_name_or_bundle_identifier或窗口目标window_id/pid/app_id/wm_class/title无目标的调用会返回整棵桌面树并告警小上下文窗口很容易被灌爆看就绪度返回里自带精简 readiness 块需要完整诊断再启用doctor确认目标窗口用computer_use_linux_list_windows或focused_window按标题、app id 等核实执行动作优先用element_index或 role/name/text 语义选择器而不是裸坐标动作后重新观察UI 变化后再次观察避免基于过期状态继续操作完整规则见 skills/computer-use-linux/references/pi-setup.md。迁移旧版与就绪验证如果你之前用的是基于pi-mcp-adapter的旧版安装新版不会写 MCP 配置只会在检测到旧的mcp.json条目时提示迁移。清理步骤是删掉mcp.json里computer-use-linux那一条pi-mcp-adapter若还给别的 MCP 服务器用就保留然后/reload。启用doctor验证环境就绪理想输出应满足can_register_mcp_tools: truecan_build_accessibility_tree: truecan_query_windows: truecan_send_development_input: trueblockers: []截图路线在 doctor 里永远是unverified它只探测、不截图需要用get_app_state配合include_screenshot: true做真实验证。若can_build_accessibility_tree为 false先跑setup_accessibility或 shell 里的computer-use-linux setup再重启目标应用。项目内相关文件速查模块路径说明Pi 扩展入口pi/extension/index.ts加载器、工具注册、会话生命周期工具目录生成pi/extension/generated-tools.ts全部computer_use_linux_*工具的 schema 与安全注解MCP 客户端pi/extension/mcp-client.ts进程管理、版本与目录哈希校验npm 包文档npm/README.md安装、输入契约、Codemode 返回结构项目总览README.md快速开始、支持矩阵、安全模型桌面操作手册skills/computer-use-linux/SKILL.md适用场景、流程与常见坑掌握先观察、再动作、动作后复核这一节奏再配合懒加载带来的零额外开销Pi Coding Agent 操作本地 Linux 桌面就既安全又高效了。赞分享【免费下载链接】computer-use-linuxNative Linux desktop control for AI agents (MCP, Pi, CLI) — semantic AT-SPI trees, screenshots, window targeting, and input across GNOME, KDE, Hyprland, niri, COSMIC, i3, and X11.项目地址https://gitcode.com/gh_mirrors/co/computer-use-linux点击查看免费下载相关推荐Waku Computer Use实战Cua Driver如何让Coding Agent在你的桌面上动手点鼠标Waku Computer Use实战Cua Driver如何让Coding Agent在你的桌面上动手点鼠标 Waku 是一款用 Rust GPUI 编飞书知识库空间盘点lark-cli 的 wiki space-list 命令使用与分页机制全解飞书知识库空间盘点lark cli 的 wiki space list 命令使用与分页机制全解 导读 wiki space list 是 Lark/飞书给Linux桌面换上macOS新装这份操作指南请收好给Linux桌面换上macOS新装这份操作指南请收好 WhiteSur gtk theme是一款专为Linux桌面打造的macOS风格主题让你的Linux系UI组件上一篇mlx-serve 推测解码全解PLD、MTP、DFlash 与 Drafter 四路并行如何让本地 LLM 快 2 倍下一篇不花API费也能读论文zotero-AI-Butler免费大模型额度攻略——gcli2api与每日200万tokens创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考