资讯详情

资讯详情

TimeSSM-2.5M 的 GIFT-Eval 成绩深度解读:MASE 0.75 背后小参数模型的硬实力之战

人工智能基础模型机器学习深度学习【免费下载链接】timessm-2.5m项目地址https://ai.gitcode.com/hf_mirrors/IUseAMouse/timessm-2.5m点击查看免费下载TimeSSM-2.5M 是一个仅 2.5M 参数的零样本zero-shot时间序列预测模型它在 GIFT-Eval 基准上以 MASE 0.7544、CRPS 0.5128 的成绩跻身榜单第一梯队。本文带你逐层拆解这组数字是怎么来的裸模型跑出了几分、推理期重采样层又加了几分以及它在小参数模型中的真实位置。GIFT-Eval 是什么MASE 与 CRPS 怎么读GIFT-Eval 是当前时间序列预测领域主流的零样本评测基准覆盖 97 种数据集 / 频率 / 预测长度配置从电力负荷、交通流量到天气、销售都有。两个核心指标都越低越好且都是与官方 seasonal naive 基线的比值的几何平均指标含义直觉理解MASE平均绝对误差对 seasonal naive 的比值0.75 误差只有简单季节基线的 75%CRPS概率预测的连续排序概率评分衡量整条分位数扇形的质量⚠️ 关键点TimeSSM 的训练语料从构造上就排除了 GIFT-Eval 的数据源且最终成绩来自训练运行的最后一个 checkpoint没有针对榜单挑选过模型。评测脚本还在 97/97 配置上复现了 t0-beta 的官方逐配置结果数字是可信的详见 README.md。2.5M 参数是怎么做到一发全 horizon的TimeSSM 的骨干是对角线性状态空间模型 S4D6 个门控 S4D 块d_model192、d_state32总参数 2,525,771完整超参见 config.json。它有两个对使用者很友好的设计一次前向预测任意 horizon不需要自回归循环短序列、长序列一次出结果采样间隔是推理期旋钮通过delta_scale把季节长度换算成采样率参数w15 分钟数据为 0.25小时级为 1同一套权重可以按任意频率运行——这是它最独特的能力。此外它输出0.1 到 0.9 共九个分位数用上下文做交叉注意力的分位数头给出概率扇形。训练语料规模相当扎实15.85B 个观测值来自 106 个公开数据集文件LOTSA 固定版本、Chronos 四个数据集与合成家族频率清单见 corpus_v3_frequencies.yaml。更励志的是整套模型由一个人用 3 张 RTX 3090 从零训练完成不挂靠任何实验室或公司。MASE 0.7544 是怎么拿到的推理期回测重采样层这是全文最核心的部分——0.7544 不是裸模型的成绩而是裸模型 推理期重采样层的总成绩。具体做法零训练全部发生在推理时把历史序列以多个速率重采样降采样 2 到 48 倍、升采样 2 到 4 倍每个速率各预测一次用序列自身过去的因果回测给各候选加权按分位数层级混合预测并做 sign-flip 平均用训练语料上标定的九个逐层 gamma 因子calibration_gamma.json把分位数扇形放宽。全程没有在 GIFT-Eval 上拟合任何东西。代价是每条序列要跑 20 到 40 次前向而不是一次。裸模型有多能打MASE 0.7985一次前向去掉所有花活——单次前向、无平均、无重采样、无标定——裸模型成绩为配置MASECRPSTimeSSM-2.5M裸模型1 次前向0.79850.5451TimeSSM-2.5M 回测重采样0.75440.5128也就是说重采样层贡献了约 0.04 的 MASE 和 0.03 的 CRPS 提升。更值得注意的是横向对比48M 参数的 Chronos-Bolt small 裸模型 CRPS 为 0.564而 TimeSSM-2.5M 裸模型在两项指标上直接赢过它——参数量只有其 1/19。小参数档位排名它站在哪个位置在 GIFT-Eval 榜单 10M 参数以下的模型中按 CRPS 排序榜单数据来自其元数据模型参数量CRPS 比值FlowState-9.1M9.1M0.502TimeSSM-2.5M 回测重采样2.5M0.513TTM-R31.4M0.520Toto-2.0-4m4.1M0.524Chronos-Bolt tiny 同款重采样层9M0.532TempoPFNn/a0.533TimeSSM-2.5M裸模型2.5M0.545Kairos-10m9.9M0.554Chronos-Bolt tiny9M0.601 结论很清晰开启重采样层后TimeSSM-2.5M 是 10M 参数以下档位的第二名与榜首 FlowState-9.1M 仅差 0.011 CRPS而参数量只有它的 27%。注意两点TTM-R3 的预训练见过 GIFT-Eval 数据有数据泄露嫌疑而 Chronos-Bolt tiny 套上同款重采样层也只能到 0.532说明这个推理期技巧本身对 TimeSSM 特别有效。逐配置拆解强在哪弱在哪97 个配置的逐条成绩见 README.md这里挑几个代表性例子强势配置比值远低于 1大幅优于季节基线配置MASE含重采样CRPS含重采样us_births/D美国出生数日0.2550.209bizitobs_l2c/5T云负载5 分钟0.2910.293jena_weather/10T/long天气长 horizon0.8490.204jena_weather/H/long0.8080.140弱势配置比值大于 1不如季节基线配置MASE含重采样CRPS含重采样m4_hourly/HM4 小时级1.4190.709m4_daily/DM4 日级1.1141.008bizitobs_application/10S/long10 秒云运维1.1091.215ett2/W/short周频经济数据1.1650.738规律与官方 Limitations 一节吻合裸模型本质是短 horizon 模型中长 horizon 靠重采样层撑住最弱的三类是 10 秒级云运维 trace、带周节律的小时级数据m4_hourly以及低频经济序列M4 weekly / yearly。有意思的是重采样层对长 horizon 短板的修复非常显著——例如 electricity/H/long 从裸模型 MASE 0.959 降到 0.918ett2/D/short 从 1.119 降到 0.898。成绩背后的代价与边界必须诚实地说推理成本重采样层让每条序列的前向次数从 1 变成 20~40 倍实时高吞吐场景要掂量单变量模型不接收外生变量、多变量输入频率必须声明模型依赖24 / season的频率约定设置采样间隔没有频率检测器——不声明频率的它就不是卡上这个它详见 README.md。如何验证与复现这份成绩仓库内已包含复现所需的全部文件model.safetensors config.json可直接加载的权重与模型结构epoch00_valloss1.2814.ckpt原始 Lightning checkpoint用于通过评测脚本精确复现calibration_gamma.json分位数扇形标定因子仅对该 checkpoint sign-flip 频率规则组合有效。官方复现路径是 TimeSSM 仓库的一条评测命令EVAL_CONFIGtimessm_2.5m_gift配置文件中携带了本卡全部推理设置频率规则、sign-flip 平均、回测重采样降采样 2~48、升采样 2~4、四个窗口池化回测与标定文件裸模型成绩则是第二条命令。本地跑预测只需安装timessm库后from_pretrained加载本目录model.forecast(context, horizon, ww)即可拿到九个分位数最小可运行示例见 README.md。小结小模型的硬实力叙事裸模型2.5M 参数、一次前向CRPS 0.5451已优于 48M 参数的 Chronos-Bolt small加重采样层CRPS 0.5128、MASE 0.7544冲入 10M 参数以下档位的 Top 2零样本、零榜单拟合训练语料构造上排除评测源checkpoint 不做挑选独特能力采样间隔作为推理期旋钮同一套权重适配任意频率。对于资源有限但想要开箱即用 概率预测的用户TimeSSM-2.5M 是目前 GIFT-Eval 榜单上参数效率最高的选择之一。赞分享人工智能基础模型机器学习深度学习【免费下载链接】timessm-2.5m项目地址https://ai.gitcode.com/hf_mirrors/IUseAMouse/timessm-2.5m点击查看免费下载相关推荐Timestral-123M基准测试全解读时序预测GIFT-Eval、TIME与fev-bench成绩背后的MASE与CRPSTimestral 123M基准测试全解读时序预测GIFT Eval、TIME与fev bench成绩背后的MASE与CRPS Timestral 123MGIFT-Eval、TIME与fev-bench怎么读Timestral-28M基准成绩一次看懂GIFT Eval、TIME与fev bench怎么读Timestral 28M基准成绩一次看懂 Timestral 28M 是 Mistral AI 发布的人工智能基础模型深度学习270M模型的函数调用能力有多强FunctionGemma-270m-it-GGUF的BFCL基准成绩深度解读270M模型的函数调用能力有多强FunctionGemma 270m it GGUF的BFCL基准成绩深度解读 FunctionGemma 270m it G上一篇Qwythos-9B-Claude-Mythos-5-1M-GGUF革命性1M上下文推理模型完全解析下一篇DownloadFullInstallermacOS Big Sur安装程序下载神器终极指南创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
觉得有用,分享给同行:

为您的企业打造数字门面

稳重轻奢商务风格,端正雅致视觉,长效耐看不易过时。

立即咨询 →