资讯详情

资讯详情

如何部署本地AI?使用LM Studio

【保姆级教程】使用 LM Studio 本地部署 AI 大模型零代码玩转 LLM本文将手把手教你使用 LM Studio 在本地部署开源大模型如 Llama3、Qwen、DeepSeek 等无需编程基础5 分钟即可拥有私人 AI 助手。本文包含内容LM Studio 的安装与配置如何选择和下载合适的模型模型加载与参数调优本地对话测试开启 OpenAI 兼容 API 服务LM Studio 简介说明官网https://lmstudio.ai支持平台Windows / macOS / Linux支持格式GGUFllama.cpp 生态模型来源内置 HuggingFace 搜索特色功能图形界面、本地推理、OpenAI 兼容 API硬件要求建议 ≥ 8GB 内存有 GPU 更佳1 下载安装包访问官网 https://lmstudio.ai根据你的操作系统选择对应版本2 安装步骤以 Windows 为例双击下载的.exe安装包选择安装路径建议不要放在 C 盘点击 “Install” 等待完成首次启动会提示选择主题按需选择即可修改模型存放位置不要放C盘了模型文件挺大的1 搜索模型这里是模型下载界面2 选择合适的量化版本你会看到同一模型有多种量化版本Q4、Q5、Q6、Q8 等量化等级模型大小7B质量适用场景Q4_K_M~4.5 GB⭐⭐⭐8GB 内存电脑推荐Q5_K_M~5.5 GB⭐⭐⭐⭐16GB 内存Q6_K~6.5 GB⭐⭐⭐⭐追求高质量Q8_0~8 GB⭐⭐⭐⭐⭐大内存/有 GPU建议8GB 内存选Q4_K_M16GB 选Q5_K_M或Q6_K。国内加速提示如果 HuggingFace 下载慢可以手动从 ModelScope魔搭 下载.gguf文件放入C:\Users\你的用户名\.lmstudio\models\目录重启 LM Studio 即可识别选择模型即可
觉得有用,分享给同行:

为您的企业打造数字门面

稳重轻奢商务风格,端正雅致视觉,长效耐看不易过时。

立即咨询 →