PyTorch 版本升级导致大模型推理数值漂移的排查与容器化锁定
发布时间:2026/10/25 15:51:45 锦皓数字建站

一个 3.8B 参数的多模态定位模型(Qwen2 架构 + 视觉编码器)在多个环境里都能成功加载,但只有在特定版本组合下才能输出正确结果:torch 2.7.0 + transformers 4.57.1 正常检测出目标框,torch 2.10 起在 cuDNN 符号加载处崩溃,torch 2.13 配合 transformers 5.x 则输出空字符串或乱码 token。权重经逐张量比对完全一致,视觉特征的余弦相似度接近 1.0,但首个 token 的 logit 从 24.44 掉到了 1.49。问题现象跨环境的表现差异:环境torchtransformers加载推理pytorch272.7.0+cu1284.57.1成功正常pytorch2102.10.0+cu1284.57.1成功cudnnGetVersion崩溃pytorch2132.13.0+cu1325.14.1成功输出空串
锦
锦皓数字建站
深耕本土企业品牌数字化升级,专注原创端正雅致商务官网,从视觉设计到稳定运维全程保驾护航。