【免费下载链接】InternVL2_5-26B-MPO-AWQ项目地址https://ai.gitcode.com/OpenGVLab/InternVL2_5-26B-MPO-AWQ点击查看免费下载InternVL2_5-26B-MPO-AWQ 是多模态大模型 InternVL2.5 经混合偏好优化MPO训练后的 4-bit AWQ 量化版本而它的秘密武器正是一套名为MMPR的大规模多模态推理偏好数据集——约300 万条偏好样本。这篇文章带你快速搞懂这些样本是怎么来的以及它们如何让模型推理能力更上一层楼。什么是 MMPRMMPR 是一个大规模、高质量的多模态推理偏好数据集规模约 300 万样本详见 README.md。它的作用很直接告诉模型哪个回答更好为后续的偏好优化训练提供燃料。在 InternVL2.5 系列中MPOMixed Preference Optimization基于 MMPR 数据训练使 26B 模型在 MathVista、OCRBench、MMVet 等基准上全面超越基座版本对比数据见 README.md 的评测表。数据构建流水线总览两类样本构建 300 万偏好样本的核心思路是按是否有标准答案分类处理官方提出了两条互补的构建路径样本类型构建策略核心手段有明确标准答案ground truth答案匹配过滤Final Answer: ***格式 正负集合配对无明确标准答案Dropout NTP掉线式下一词预测有图/无图两次生成对比 这种双轨制设计的好处既覆盖了数学题、选择题等可自动判分的数据也能扩展到开放式的图像描述、推理问答等无法直接判分的数据从而凑齐 300 万规模的语料池。有标准答案的样本答案匹配 正负配对这是最硬核的一类数据流程可以概括为三步规范输出格式提示模型先给出推理过程最后以Final Answer: ***的形式给出最终答案划分正负集合与标准答案匹配的回答 → 正样本集合 Y_p不匹配的回答以及没有给出明确最终答案的回答 → 负样本集合 Y_n构造偏好对从 Y_p 中挑一条作为 choseny_c从 Y_n 中挑一条作为 rejectedy_r形成一个好 vs 差的偏好样本。这套机制的精妙之处在于全自动、零人工标注只要数据集自带答案数学、科学 QA 等机器就能批量生产高质量的偏好对这也是 MMPR 能做到 300 万规模的关键。无标准答案的样本Dropout NTP 技巧对于开放式的多模态问题比如请分析这张图表没有标准答案可以对照。InternVL 团队提出了一个简单却有效的方法——Dropout Next-Token PredictionDropout NTP先用InternVL2-8B生成一段回答作为chosen 答案将该回答截断一半然后让模型在看不到图像输入的情况下补全剩余部分这次无图补全的生成结果就成为rejected 答案。 为什么无图补全一定更差因为失去视觉信息后模型补全出的内容会引入更多幻觉。这样 chosen 与 rejected 之间的偏序关系天然成立无需额外评分器reward model即可产出可信的偏好对。300 万样本如何喂给 MPO 训练偏好数据只是原料真正的魔法发生在MPO 混合偏好优化阶段。其训练目标由三项损失加权组合完整公式见 README.md损失项算法作用偏好损失 L_pDPO学习 chosen 与 rejected 之间的相对偏好质量损失 L_qBCO感知单条回答的绝对质量生成损失 L_gSFT学会生成偏好回答的过程三者结合模型不仅知道哪个更好还知道好到什么程度并学会主动产出高质量回答——这正是 MMPR 大规模数据能转化为推理能力跃升的底层逻辑。模型架构与 AWQ 量化26B 也能轻量化部署本项目仓库是 InternVL2_5-26B-MPO 的AWQ 量化版关键信息可在配置文件里直接查到量化配置4-bit、group_size128、AWQconfig.json视觉编码器 InternViT-6B 语言模型 InternLM2.5-20B 的组合config.json图像预处理参数448px 动态分辨率切块preprocessor_config.json对话模板与推理主逻辑conversation.py、modeling_internvl_chat.py4-bit AWQ 量化让 26B 参数的模型在显存占用大幅降低的前提下保持 MPO 训练后的推理能力对普通开发者部署非常友好。快速上手三行代码跑通推理安装 LMDeploy 后即可加载本模型部署示例完整代码见 README.mdfrom lmdeploy import pipeline, TurbomindEngineConfig from lmdeploy.vl import load_image model OpenGVLab/InternVL2_5-26B-MPO-AWQ image load_image(https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/tests/data/tiger.jpeg) pipe pipeline(model, backend_configTurbomindEngineConfig(session_len8192)) print(pipe((describe this image, image)).text)多图像输入、批量推理、多轮对话及 OpenAI 风格 API 服务的用法均收录在 README.md 中按需查阅即可。小结回顾一下这条完整的技术链路MMPR 数据集用答案匹配 Dropout NTP双轨流水线低成本构建出约 300 万高质量偏好样本MPO 训练DPO BCO SFT 三损失联合优化将偏好数据转化为真实推理能力AWQ 量化4-bit 权重让 26B 多模态模型落地更轻便。如果你想深入源码细节建议从 modeling_internvl_chat.py 的chat/batch_chat方法以及 modeling_intern_vit.py 的视觉编码实现入手阅读。赞分享【免费下载链接】InternVL2_5-26B-MPO-AWQ项目地址https://ai.gitcode.com/OpenGVLab/InternVL2_5-26B-MPO-AWQ点击查看免费下载相关推荐为什么 InternVL2.5-26B-MPO-AWQ 推理更强深度解析混合偏好优化MPO三大损失为什么 InternVL2.5 26B MPO AWQ 推理更强深度解析混合偏好优化MPO三大损失 InternVL2.5 26B MPO AWQ 是 O如何本地运行 InternVL2.5-26B-MPO-AWQTurbomind 引擎单图/多图推理完整教程如何本地运行 InternVL2.5 26B MPO AWQTurbomind 引擎单图/多图推理完整教程 本文将带你用 LMDeploy 的 TurbomiInternVL2.5-26B-MPO-AWQ 基准测试全解读9 大评测榜单如何衡量多模态能力InternVL2.5 26B MPO AWQ 基准测试全解读9 大评测榜单如何衡量多模态能力 InternVL2.5 26B MPO AWQ 是开源多模态大上一篇Alpaca Python客户端实时数据流构建高效市场数据监控系统的简单方法下一篇douyin-downloader 实战贴一个抖音博主主页十分钟把全部作品备份到本地创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考