资讯详情

资讯详情

zerostack配置LLM完全指南:OpenRouter、Ollama本地模型与自定义OpenAI兼容端点一步到位

【免费下载链接】zerostackLightweight coding agent written in Rust, optimized for memory footprint and performance项目地址https://gitcode.com/gh_mirrors/zer/zerostack点击查看免费下载zerostack是一个用 Rust 编写的轻量级终端编码 Agent以极低的内存占用和出色的性能著称。本文将带你从零完成 zerostack 配置 LLM 的全部工作使用OpenRouter一个 Key 接入数百个云端模型、通过Ollama运行免费私有的本地模型以及指向 vLLM、LiteLLM 等自定义 OpenAI 兼容端点——三种方式任选其一即可让 Agent 在你的终端里跑起来。zerostack 配置文件在哪里TOML / YAML / JSON 三种格式任选配置 LLM 之前先弄清 zerostack 读取哪份配置文件。它按以下优先级查找支持config.toml、config.yaml、config.json三种格式优先级位置1最高$ZS_CONFIG_DIR/config.*通过环境变量ZS_CONFIG_DIR指定目录2~/.config/zerostack/config.tomlmacOS 为~/Library/Application Support/zerostack/3~/.local/share/zerostack/config.toml首次启动会自动在此生成默认配置项目级覆盖如果当前项目目录下存在.zerostack/config.toml启动时它会与全局配置合并——表格类字段如custom_providers、quick_models按键逐个合并标量字段则整体替换全局值。这样你可以为不同项目指定不同的模型。完整字段参考见 docs/CONFIG.md配置加载逻辑实现在 src/config/load.rs。OpenRouter 配置步骤一个 API Key 接入数百个模型zerostack 的默认 provider 就是 OpenRouter因此这是上手最快的路径。1. 创建 API Key 并设为环境变量export OPENROUTER_API_KEYsk-or-v1-...把这一行加入~/.bashrc或~/.zshrc即可永久生效。2. 在配置文件中选择模型OpenRouter 的模型名采用provider/model-name格式provider openrouter model deepseek/deepseek-v4-flash3. 启动 zerostackzerostack完成。OpenRouter 还有免费模型可选价格设为 0非常适合零成本体验。zerostack 会自动探测模型的上下文窗口用于状态栏的上下文用量显示和自动压缩无需手动填写。Ollama 本地模型配置免费私有地跑大模型如果你希望代码完全不出本机Ollama 是最佳选择——无需任何 API Keyprovider ollama model qwen2.5-coder前提是本机已安装 Ollama 并拉取了模型ollama pull qwen2.5-coder。zerostack 内置了 Ollama 客户端会连接本机默认的localhost:11434服务若你的 Ollama 跑在远程机器上也可以走下一节的自定义 OpenAI 兼容端点方式指定base_url。自定义 OpenAI 兼容端点接入 vLLM、LiteLLM 与企业网关只要你的服务实现了 OpenAI 兼容 APIvLLM、LiteLLM、自托管推理、公司网关等就可以用custom_providers一段配置接入。示例接入本地 vLLM[custom_providers.local-vllm] provider_type openai base_url http://localhost:8000/v1 api_key_env VLLM_API_KEY model gemma4之后用zerostack --provider local-vllm启动即可。示例接入公司网关自定义请求头 环境变量展开[custom_providers.company-gateway] provider_type openai base_url https://gateway.example.com/v1 api_key_env GATEWAY_API_KEY api_style completions timeout_secs 60 [custom_providers.company-gateway.headers] cf-access-client-id ${CF_ACCESS_CLIENT_ID} cf-access-client-secret ${CF_ACCESS_CLIENT_SECRET}自定义 provider 支持的关键字段完整说明见 docs/PROVIDERS.md字段作用provider_type协议类型必须是内置类型之一openrouter/openai/anthropic/gemini/ollamabase_urlAPI 基础地址api_key_env存放 Key 的环境变量名可省略回退到该协议类型的默认变量api_styleOpenAI 协议的两种传输方式responsesResponses API或completionsChat Completions。设置了自定义base_url时默认用completions因为绝大多数兼容网关只实现了后者headers附加 HTTP 请求头值支持${ENV_VAR}展开密钥不落盘timeout_secs整个请求的超时秒数覆盖流式输出全程danger_accept_invalid_certs关闭 TLS 证书校验仅限自签名/内网网关场景慎用model该 provider 的默认模型名✨贴心细节对自定义端点zerostack 会实时请求GET {base_url}/models如果端点上报了context_length和pricing字段会自动用于上下文计量、自动压缩和费用统计没有上报则回退到 128000 token。仓库内还有两份现成的接入配方可以参考docs/providers/Minimax.md 和 docs/providers/Opper.md。用 Quick Models 快捷模型秒切配置写provider/model长字符串很麻烦zerostack 提供Quick Models给provider model组合起个别名。[quick_models.fast] provider openrouter model deepseek/deepseek-v4-flash [quick_models.local] provider ollama model qwen2.5-coder启动时--quick-model fast直接选用会话中输入/models打开交互选择器/models local一行切换输入/models-add myname ollama llama3.1可把新组合直接保存回配置文件无需手动编辑。还可以用prompt_to_model把 prompt 与模型绑定——例如切换到planprompt 时自动换用更强的推理模型。运行时切换 Provider 与 Model常用参数与命令速查不改动配置文件时也可以临时切换 LLM方式示例说明CLI 参数zerostack --provider anthropic --model claude-sonnet-4-5一次性指定环境变量ZS_PROVIDERollama ZS_MODELqwen2.5-coder zerostack适合写进 shell 别名TUI 命令/provider ollama、/model qwen2.5、/provider查看当前值会话中随时切换API Key 的解析优先级为--api-key参数 → 环境变量api_key_env指定的或内置默认变量→ 配置文件api_keys表 → Ollama无需 Key。也可以把 Key 写进配置文件作为兜底[api_keys] openai sk-... anthropic sk-ant-...五种内置 provider 与对应默认环境变量一览Provider配置名默认环境变量OpenRouteropenrouterOPENROUTER_API_KEYOpenAIopenaiOPENAI_API_KEYAnthropicanthropicANTHROPIC_API_KEYGeminigemini/googleGEMINI_API_KEYOllamaollama无需 Key常见问题排查启动报Unknown provider: xxx拼写错误支持的名字只有openrouter、openai、anthropic、gemini、ollama及你自定义的别名。提示语还会建议你运行zerostack --setup交互式配置见 src/setup/。提示找不到模型或上下文窗口不对自定义端点未上报context_length时会回退到 128000可在配置中显式写context_window 131072覆盖。网关报错 401/403检查headers中${ENV_VAR}引用的环境变量是否已导出值展开失败时请求头会是空字符串。兼容网关报max_tokens相关错误把该 provider 的api_style显式设为completions或responses强制指定传输协议。想确认内置模型目录zerostack 编译期内置了模型编目数据 data/models.json编目生成脚本为 scripts/gen-models-catalog.sh。相关文档与源码路径配置 LLM 只是 zerostack 能力的一部分以下是继续深入的最佳入口上手全流程安装 → 配 provider → 选模型docs/GET_STARTED.md完整配置参考权限、MCP、主题、状态栏等docs/CONFIG.mdProvider 与请求头、缓存机制详解docs/PROVIDERS.mdProvider 客户端实现内置五家 自定义端点src/provider.rs配置文件解析与类型定义src/config/内置 prompt 模板影响 Agent 如何使用所选模型data/prompts/至此zerostack 配置 LLM 的三条路径——云端聚合OpenRouter、本地免费Ollama、自定义 OpenAI 兼容端点——你已经全部掌握。选一条走通剩下的交给终端里的 Agent 吧 赞分享【免费下载链接】zerostackLightweight coding agent written in Rust, optimized for memory footprint and performance项目地址https://gitcode.com/gh_mirrors/zer/zerostack点击查看免费下载相关推荐OpenResearch 本地模型接入指南用 LM Studio、oMLX、Ollama 与自定义 OpenAI 兼容端点驱动 OpenCode AgentOpenResearch 本地模型接入指南用 LM Studio、oMLX、Ollama 与自定义 OpenAI 兼容端点驱动 OpenCode Agent人工智能AI Agent深度研究自主智能体Agent 编排为 LLM 命令行工具接入其他模型本地模型插件、OpenAI 兼容端点与 extra-openai-models.yaml 配置全指南为 LLM 命令行工具接入其他模型本地模型插件、OpenAI 兼容端点与 extra openai models.yaml 配置全指南 LLM 默认只内置 O人工智能大模型AI 应用CLISecond-Me 自定义模型配置指南使用 Ollama 搭建 Chat 与 Embedding 本地端点Second Me 自定义模型配置指南使用 Ollama 搭建 Chat 与 Embedding 本地端点 导读 本指南面向希望在本地完全离线运行 Secon人工智能大模型本地部署微调LoRARAG交互助手MCP 服务后端前端创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
觉得有用,分享给同行:

为您的企业打造数字门面

稳重轻奢商务风格,端正雅致视觉,长效耐看不易过时。

立即咨询 →