【免费下载链接】model-runnerDocker Model Runner项目地址https://gitcode.com/gh_mirrors/mo/model-runner点击查看免费下载Docker Model RunnerDMR是 Docker 官方的 AI 模型运行工具帮你用 Docker 快速拉取、运行和部署大语言模型LLM。本文给出安装 Docker Model Runner 的三种完整方法Docker Desktop 自带方式、Linux Docker Engine 一键脚本方式以及完全脱离 Docker 的独立dmr二进制方式覆盖 macOS、Windows 与 Linux 三大平台。Docker Model Runner 是什么Docker Model Runner 让你像管理容器一样管理 AI 模型一条docker model run ai/gemma3 Hello命令即可完成模型拉取、加载与推理。它支持 llama.cpp、vLLM、diffusers 多种推理后端并可自动检测 GPU 加速。核心组件与文档可参考项目内资料总览与安装说明README.mdCLI 插件功能列表cmd/cli/README.md独立 dmr 说明cmd/dmr/README.md三种安装方式怎么选安装方式适用环境需要安装 Docker典型安装命令Docker DesktopmacOS / Windows是DMR 已内置安装 Docker Desktop 即可Docker EngineLinux是官方仓库自带curl -fsSL https://get.docker.com \| sudo bash独立dmr全平台否单文件二进制brew install docker/tap/dmr方式一Docker Desktop 一键安装macOS / Windows这是最简单的方式Docker Model Runner 已包含在 Docker Desktop 中无需单独安装插件。前往 Docker 官方文档下载并安装 Docker Desktop启动 Docker Desktop确认应用图标处于运行状态打开终端验证插件可用。整个过程零配置适合新手快速上手本地 AI 模型。方式二Linux 引擎一键安装脚本 在 Linux 上Docker Model Runner 由 Docker 官方软件仓库提供安装 Docker Engine 时一并装好curl -fsSL https://get.docker.com | sudo bash sudo usermod -aG docker $USER # 赋予用户访问 Docker 守护进程的权限重新登录后生效 关键点必须从Docker 官方仓库安装发行版自带的 docker 包如 Ubuntu 的docker.io不包含Model Runner 插件。这一点在 cmd/cli/commands/install-runner.go 的自动安装逻辑与 README.md 的故障排查章节中都有强调。GPU 用户可显式指定加速类型none|auto|cuda|rocm|musa|canndocker model install-runner --gpu cuda完整的参数清单见 docker_model_install-runner.yaml包括--backend推理后端、--host绑定地址默认127.0.0.1、--tls启用 HTTPS等。方式三独立 dmr 二进制完全免 Docker 如果你不想安装 Dockerdmr是一个自带推理守护进程与完整管理 CLI 的独立二进制功能与docker model完全一致run、ls、pull、rm、ps等。按平台安装# macOS (arm64) brew install docker/tap/dmr # Windows (amd64) winget install Docker.dmrLinux 用户可从最新的dmr-v*发布页下载预编译压缩包也可以克隆源码后本地构建git clone https://gitcode.com/gh_mirrors/mo/model-runner cd model-runner make build-dmr # 输出 ./dmr 二进制 ./dmr serve # 后台启动守护进程 ./dmr pull ai/gemma3 # 拉取模型 ./dmr run ai/gemma3 Hello使用细节可参考 packaging/README.md各平台分发渠道与 cmd/dmr/main.go。注意dmr serve默认监听 TCP 端口12434可用--port/--socket/--models-path调整连接其他守护进程时设置环境变量MODEL_RUNNER_HOST或--hostinstall-runner、stop-runner等仅管理 Docker 容器的命令在dmr中被隐藏因为守护进程直接由dmr serve承担。安装完成后如何验证✅三种方式共用同一套验证命令dmr用户把docker model换成dmr即可docker model --help # 确认 CLI 插件可用 docker version # 查看 Docker 版本与来源 docker model version # 查看 Model Runner 版本 docker model status # 查看 Runner 是否在运行 docker model run ai/gemma3 Hello # 跑一个真实模型做端到端测试只要最后一条命令返回模型回复说明安装、GPU 检测与推理链路全部就绪。命令说明可参考 docker_model_status.yaml 和 docker_model_version.yaml。常见问题快速排查 ️1.docker model命令不存在或提示Package docker-model-plugin has no installation candidate原因是 Docker 装自发行版仓库而非官方仓库。处理步骤以 Ubuntu/Debian 为例sudo apt-get purge docker docker.io containerd runc curl -fsSL https://get.docker.com | sudo bash docker model --help2. NVIDIA DGX 预装 Docker 不生效DGX 出厂预装的 Docker 通常不是官方仓库版本需按上面的步骤重装为官方源安装。3. Runner 启动慢或超时首次运行命令时会自动执行安装自动安装逻辑见 cmd/cli/commands/install-runner.go 中的ensureStandaloneRunnerAvailableCPU 版本约 1 秒、CUDA 版本需数秒可用MODEL_RUNNER_NO_AUTO_INSTALL环境变量关闭自动安装改用docker model install-runner手动配置。总结macOS / Windows 新手装好 Docker Desktop 就能直接用最快 1 分钟上手Linux 用户记住必须官方仓库这一条一条脚本命令搞定不想依赖 Docker独立dmr一个二进制包办全部dmr servedmr run即可开聊。装好之后docker model run一个模型试试吧AI 模型部署从此简单又快速赞分享【免费下载链接】model-runnerDocker Model Runner项目地址https://gitcode.com/gh_mirrors/mo/model-runner点击查看免费下载相关推荐如何3分钟装好OCXcurl一键脚本、npm全局与独立二进制三种安装方式完整指南如何3分钟装好OCXcurl一键脚本、npm全局与独立二进制三种安装方式完整指南 OCX 是一个为 OpenCode https://link.gitcodeCLI开发工具AI 应用Docker-gen安装全攻略主机、容器、独立部署三种方式详解Docker gen安装全攻略主机、容器、独立部署三种方式详解 Docker gen是一个强大的文件生成工具能够利用Docker容器元数据自动渲染模板文件。云原生配置管理如何安装GaleWindows与Linux全平台7种安装方式完全指南如何安装GaleWindows与Linux全平台7种安装方式完全指南 Gale 是一款现代化的 Thunderstore 模组管理器 mod manager桌面应用游戏开发上一篇Cypht重新定义轻量级Webmail聚合器的技术深度探索下一篇KaTrain围棋AI训练助手5个步骤让你从新手到高手创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考