【免费下载链接】LFM2.5-24B-A2B-Preview-6bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/LFM2.5-24B-A2B-Preview-6bit点击查看免费下载想在 Mac 上跑一个又大又快的本地大模型LFM2.5-24B-A2B-Preview-6bit 正是为你准备的这是 Liquid AI 开源的 24B MoE 大模型激活参数仅约 2B的MLX 6bit 量化版本专为 macOS / Apple Silicon 优化支持 131072 tokens 长上下文约 10 分钟即可从零跑通本地推理。本文是一份面向新手的完整指南覆盖环境准备、模型获取、一键推理命令和参数调优。一、模型速览LFM2.5-24B-A2B-Preview-6bit 是什么在动手之前先花 1 分钟了解你要跑的这个模型。核心信息来自 README.md 和 config.json项目参数说明架构Lfm2MoeForCausalLM混合专家MoE架构总参数 / 激活参数24B / 约 2B64 个专家每 token 只激活 4 个num_experts_per_tok: 4推理飞快量化6bit affinegroup size 64权重文件共约 19.48 GB上下文长度131,072 tokens长文本处理能力层结构40 层conv full_attention 混合卷积层承担大部分计算进一步提速推理框架MLX-VLM CLI基于 Apple Silicon 的统一内存架构为什么选 MoE传统 Dense 模型每个 token 都要动用全部 24B 参数而 MoE 模型每次只激活 4/64 个专家实际计算量接近一个 2B 小模型但知识容量接近 24B——这就是大而不慢的秘密。硬件要求清单✅ Apple Silicon MacM1 / M2 / M3 / M4 系列均可✅ 统一内存建议 ≥ 32 GB权重 19.48 GB KV 缓存与临时开销✅ macOS 系统 Python 3.10 环境⚠️ 量化转换在 Apple M3 Ultra 上完成见 conversion_info.json低配设备跑推理不受影响二、准备工作安装 MLX-VLM 推理环境本仓库是只读的模型权重不需要 clone 任何仓库直接安装 MLX-VLM 后按名字加载即可。第 1 步创建独立的 Python 虚拟环境避免污染系统环境python3 -m venv lfm-env source lfm-env/bin/activate第 2 步安装 MLX-VLM 及依赖。README 中声明的兼容版本为MLX 0.32.3 Transformers 5.17.0建议锁定版本以保证一致pip install mlx0.32.3 transformers5.17.0 mlx-vlm0.7.4第 3 步验证安装是否成功python -c import mlx.core as mx; print(mx.default_device())终端输出metal即代表 MLX 已正确接管 GPUMetal 后端加速。三、10分钟跑通第一条推理命令安装完成后直接运行下面这条命令来自 README.md 官方示例python -m mlx_vlm generate \ --model mlx-community/LFM2.5-24B-A2B-Preview-6bit \ --prompt What is the capital of France? Answer briefly. \ --max-tokens 512 \ --temperature 0.1命令逐行拆解参数作用--model指定模型名HuggingFace Hub 格式会自动下载并缓存到本地--prompt要生成的提示词--max-tokens 512最多生成 512 个 token--temperature 0.1低温度输出更稳定、更确定注意两个新手常见的坑⚠️首次运行会下载约 19.5 GB 权重请确保网络畅通且磁盘空间充足。下载进度可在终端实时观察。⚠️该模型会先思考再回答Reasoning 模型输出中包含推理过程因此--max-tokens不宜设太小否则答案还没输出就被截断。看到模型输出了你的第一个答案恭喜本地推理已经跑通四、进阶参数调优与常用玩法4.1 关键生成参数速查结合 generation_config.json 中的官方默认值参数推荐值效果--temperature0.1官方默认适合问答、代码等确定性任务--top-k50候选词裁剪控制生成多样性--max-tokens≥ 512推理模型建议给足输出空间4.2 用文件保存结果想保存输出而不是看屏幕滚动加个--output-file或以 shell 重定向 out.txt方便后续处理。4.3 长文本场景模型支持131072 tokens上下文处理长文档总结、代码库问答时只需将待处理文本完整传入--prompt无需分段。但注意上下文越长KV 缓存占用的统一内存越多32 GB 内存机型建议输入控制在 4 万 tokens 以内更稳妥。4.4 关于聊天模板仓库自带 chat_template.jinja其中包含system / user / assistant角色标签和思考推理段。如果你通过 Transformers 等框架自行加载务必启用仓库自带的 chat template否则模型行为可能不符合预期。五、模型文件结构仓库里都藏着什么熟悉一下文件布局排查问题时更从容文件路径均相对仓库根目录model-00001-of-00004.safetensors ~ model-00004-of-00004.safetensors分片的量化权重文件共 4 片合计 19.48 GBmodel.safetensors.index.json权重的分片索引表config.json模型架构与量化配置40 层、64 专家、6bit 量化细节都在这里conversion_info.json量化转换元信息转换命令、MLX / Transformers 版本、校验结果tokenizer.json 与 tokenizer_config.json分词器词表 128000chat_template.jinja官方聊天模板generation_config.json官方默认生成参数LICENSELFM Open License v1.0NOTICE量化修改说明六、常见问题排查FAQ症状可能原因解决办法首次运行卡在下载网络慢 / 被中断权重约 19.5 GB建议稳定 Wi-Fi 或有线网络后重试已下载分片会自动续传报内存不足 / 被系统杀进程统一内存不够关闭其他大内存应用内存 24 GB 的设备建议改用更小量化版本输出被截断、没有最终答案--max-tokens太小推理模型思考过程也占 token建议提到 1024 以上import mlx失败Python 环境不对确认激活虚拟环境且 pip 安装的mlx版本与系统匹配生成速度慢内存带宽瓶颈MoE 模型对内存带宽敏感这是正常现象升级更大内存带宽的芯片会有明显提升七、小结用不到 10 分钟你已经在 Mac 上跑通了LFM2.5-24B-A2B-Preview-6bit这个大而不慢的 MoE 本地大模型 创建 venv安装 MLX 0.32.3 MLX-VLM Transformers 5.17.0 一条python -m mlx_vlm generate命令加载模型首次自动下载 19.5 GB️ 按需调整--temperature与--max-tokens善用 131K 长上下文现在就可以去试试让它总结你的长文档或者帮你 review 一段代码——本地推理数据不出你的电脑。祝玩得开心赞分享【免费下载链接】LFM2.5-24B-A2B-Preview-6bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/LFM2.5-24B-A2B-Preview-6bit点击查看免费下载相关推荐LFM2.5-24B-A2B-Preview-5bit 完全上手指南Mac 本地 5 分钟跑出 131K 长上下文 MoE 大模型LFM2.5 24B A2B Preview 5bit 完全上手指南Mac 本地 5 分钟跑出 131K 长上下文 MoE 大模型 LFM2.5 24B A2如何选对DeskcommCRM的AI提供商OpenRouter、Anthropic、OpenAI三大选项实测对比如何选对DeskcommCRM的AI提供商OpenRouter、Anthropic、OpenAI三大选项实测对比 DeskcommCRM 是一款可自托管的开源gpt-computer-assistantUpsonicgraphv2 深度解析StateGraph 状态图、检查点、中断恢复与动态扇出gpt computer assistantUpsonicgraphv2 深度解析StateGraph 状态图、检查点、中断恢复与动态扇出 upsonic上一篇解读 Sanity Studio 6.x CHANGELOG从 Conventional Commits 到版本演进与源码追踪实战下一篇Aspire 中的 Azure Cosmos DB 托管集成建模、配置、本地模拟与部署完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考