小红书:用用户真实行为训练大模型
发布时间:2026/10/21 6:38:31 锦皓数字建站

📖标题:Vela: User Behavior as Supervision Sparks LLM Intelligence🌐来源:arXiv, 2610.14709v1🛎️文章简介🔸研究问题:如何让大语言模型更好地理解用户的偏好、意图和未来行为,从而在个性化推荐、广告系统等场景中表现更好?🔸主要贡献:论文提出"用户行为即监督"的新范式,设计了Vela框架,将10万用户的真实行为数据转化为可训练的任务和轨迹,显著提升了模型的用户理解能力和通用智能。📝重点思路🔸收集10万匿名用户的行为数据,涵盖浏览、搜索、购买、发帖、关注、不喜欢6类行为,时间跨度从数周到数年🔸设计91种问题模板,分为预测类(根据历史预测未来行为)和评估类(总结用户特征、解释行为原因)两大家族🔸将用户行为历史切分为"可见历史"和"隐藏未来",用未来真实行为作为预测问题的标准答案🔸采用难度过滤策略,只保留模型得分在0.2-0.8之间的中等难度任务,最终筛选出约7.5万个高质量训练样本🔸为每个任务生成多条训练轨迹,只保留得分最高的轨迹用于训练,形成Vela-Instruct和Vela-RFT两个训练集🔎分析总结🔸在VelaBench基准测试上,Vela-35B-A3B比基础模型提升11.5分,超越参数量更大的DeepSeek-V4-Flash等模型🔸在用户相关任务上平均提升6.2分,其中广告推荐任务提升最显著达11.2分🔸在通用能力测试上平均提升4分,证明用户行为训练不仅提升用户理解,还能增强推理、指令遵循等通用能力🔸训练数据从4700扩展到75000时,性能持续提升,说明用户行为数据具有良好的规模化效应🔸在微调基础上再做强化学习,比直接从基础模型做强化学习高出7.7分,说明用户行为监督为后续训练提供了更好的起点🔸难度过滤在保持域内性能的同时,
锦
锦皓数字建站
深耕本土企业品牌数字化升级,专注原创端正雅致商务官网,从视觉设计到稳定运维全程保驾护航。