资讯详情

资讯详情

Finetuning Large Language Model as an Effective Symbolic Regressor

论文总结与翻译:《Finetuning Large Language Model as an Effective Symbolic Regressor》一、论文主要内容该论文聚焦于符号回归(SR)任务——从观测数据中推导支配方程,这是科学发现的核心环节。当前基于大型语言模型(LLMs)的符号回归方法存在局限性,如依赖直接推理或提示工程,需大量推理迭代才能收敛到正确公式,且难以处理复杂方程,根源在于预训练LLMs的近似推理能力与SR任务高精度需求之间的固有矛盾。为解决此问题,论文提出以下核心内容:构建SymbArena基准数据集:包含148,102个多样方程,形成18.3亿token的语料库,覆盖广泛数学结构与复杂度,且按方程框架划分训练集(11,000个方程)与测试集(512个方程),避免结构层面信息泄露;同时设计兼顾数值精度((R^2)、(Acc_{\tau}))与形式一致性(LLM基于语义的度量、启发式字符串相似性度量)的评估方案,弥补传统数值导向评估的不足。提出SymbolicChat基线模型:通过三阶段训练优化LLM的符号回归能力。第一阶段利用90%数据进行指令微调,将数据矩阵转化为包含任务定义、操作说明与输入输出对的提示,采用交叉熵损失与LoRA实现参数高效微调;第二阶段基于剩余10%数据,通过Form-GRPO强化微调,设计形式正确性、形式相似性、数值拟合、等价性四种奖励,引导模型生成结
觉得有用,分享给同行:

为您的企业打造数字门面

稳重轻奢商务风格,端正雅致视觉,长效耐看不易过时。

立即咨询 →