资讯详情

资讯详情

Z-Image-Turbo-FP8文本编码器详解:FP8预转换如何把8GB下载量快速砍半到4.4GB

Z-Image-Turbo-FP8文本编码器详解FP8预转换如何把8GB下载量快速砍半到4.4GBZ-Image-Turbo-FP8 为 Z-Image-Turbo 文生图模型提供预量化检查点其中文本编码器text encoderFP8 预转换是最大亮点原本 8.0GB 的编码器下载量直接砍半到 4.4GB且加载结果与先下载再转换逐张量完全一致。本文带你快速看懂这套 FP8 预转换的原理、收益与使用方法。 仓库文件一览8个文件3类量化产物打开仓库所有文件职责一目了然详细说明见 README.md文件体积说明Z-Image-Turbo-FP8.pt / .safetensors6.3 GBDiT 扩散变换器FP8 动态激活量化版Z-Image-Turbo-INT8.pt / .safetensors6.3 GBDiT 扩散变换器INT8 量化版Z-Image-Turbo-INT8-ConvRot.safetensors—INT8 卷积旋转优化变体Z-Image-Turbo-text_encoder-FP8.pt / .safetensors4.4 GB⭐ 预转换 FP8 文本编码器下面重点拆解最受关注的文本编码器预转换。 文本编码器预转换8.0GB 如何变成 4.4GB它是什么Z-Image-Turbo 流水线中的文本编码器是 Qwen3-4BQwen3ForCausalLM原始权重以 bf16 存储下载约 8.0GB。核心思路Unsloth Studio 在加载模型时本来就会执行一层层layerwise的 fp8 存储转换。这个仓库干脆把转换后的结果提前存好——你下载的就是转换完的 FP8 编码器跳过下载大文件 运行时转换的完整流程✅逐张量 bit-identical与下载密集编码器 加载时转换的结果完全一致399 个张量逐一验证其中 252 个转为 fp8 存储✅lm_head/embedding 保持 dense词表嵌入与输出层共享tied weights不做量化保证文字渲染能力✅体积减半8.0GB →4.4GB下载带宽和磁盘空间直接省下一半✅普通张量 state dict元数据记录了量化方案scheme: fp8、component: text_encoder、base: Tongyi-MAI/Z-Image-Turbo为什么是 4.4GB 而不是 4.0GB因为 embedding 等关键张量保持原精度只有 252/399 个参与计算的张量真正转为 fp8 存储这是省空间与保质量之间精心计算过的平衡点。⚡ 量化怎么选FP8 vs INT8仓库同时提供了 DiT 变换器的 FP8 与 INT8 两种 torchao 动态激活量化检查点加载它们与运行时量化逐位一致只是省去了先加载密集权重再量化的步骤方案量化配置计算后端同种子 LPIPS vs bf16越低越好FP8Float8DynamicActivationFloat8WeightConfigPerRowe4m3torch._scaled_mm0.130INT8Int8DynamicActivationInt8WeightConfigper-token 激活 per-channel 权重torch._int_mm0.181 提示FP8 方案对加载器有一个小要求——需将动态激活 scale 设下界torchao 0.13 的activation_value_lb1e-12防止全零激活 token 行产生零 scale。检查点已通过 SSIM、LPIPS-vgg、CLIP delta、非有限值与黑帧检查验证。结论两者质量都远超人眼可感知范围优先选 FP8——离 bf16 原模型更近下载量还和 INT8 相当。️ 生成效果对比量化后画质如何用同一提示词 cute sloth typing on a computer1024×1024seeds 0-2生成对比INT8 量化FP8 量化两种方案构图、细节与色彩都高度一致FP8 在纹理自然度上略胜一筹对应更低的 LPIPS 0.130。 快速加载3 行代码用上 FP8 文本编码器文本编码器是普通张量 state dict用torch.load即可加载无需额外量化库import torch state_dict torch.load( Z-Image-Turbo-text_encoder-FP8.pt, weights_onlyTrue, )将它作为流水线的text_encoder组件加载得到的权重与官方流程下载 8GB 密集编码器 加载时转换逐位相同——也就是说你只是下载得更快、占的空间更少画质零损失。✅ 总结一张表记住全部收益收益项说明 下载省 4.6GB文本编码器 8.0GB →4.4GB接近砍半 质量零损失与加载时实时转换逐张量 bit-identical⚡ 加载更快跳过密集权重加载 运行时量化环节 画质有保障同种子 LPIPS 仅 0.130FP8接近 bf16 原模型如果你的显存或硬盘捉襟见肘、又对 Z-Image-Turbo 的文生图效果念念不忘这套 Z-Image-Turbo-text_encoder-FP8.pt FP8/INT8 DiT 检查点组合就是轻量部署 满血画质的最优解。创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
觉得有用,分享给同行:

为您的企业打造数字门面

稳重轻奢商务风格,端正雅致视觉,长效耐看不易过时。

立即咨询 →