如何把一句话想法变成可出图的提示词MOSS-Image-SFT 提示词增强完整上手指南【免费下载链接】MOSS-Image-SFT项目地址: https://ai.gitcode.com/OpenMOSS/MOSS-Image-SFTMOSS-Image-SFT 是 OpenMOSS 团队用 SFT监督微调训练的文生图模型配套一套Prompt Enhancer提示词增强Skill给 Agent 一句话画面想法它就能扩写成详细描述或带坐标的 Layout 提示词让文字落在哪、物体排在哪都可控。本文带你从环境确认走到第一张成图再到 Layout 坐标精控读完能独立产出文字清晰、排版整齐的中文出图。机制速览一句话想法如何走到画布上整个增强是纯文本转换——Skill 只负责决定提示词写什么全程不碰图像生成服务可以放心反复试写。MOSS-Image-SFT 接受三种提示词输入自然语言、标签序列和 JSON LayoutSkill 的作用就是把你的口语化一句话整理成后两种对比项详细描述Caption空间布局Layout拿到的是什么覆盖场景、主体、光线、文字内容的长文本带文字与坐标框的紧凑 JSON怎么生成Agent 直接扩写Agent 先用像素坐标草稿定位内置脚本编译为整数居中坐标怎么用原样粘进正向提示词json.dumps(layout, ensure_asciiFalse)序列化后整个字符串就是提示词什么时候选想要画面丰富、文字更清楚要精确控制文字与物体位置Layout 本质是一份哪里写什么字、哪里放什么物体的 JSON 描述固定字段为bbox_format: yxyx坐标数字按 y、x 顺序与bbox_coord_space: abs_centralized整数居中坐标。版本选择一句话SFT 是从MOSS-Image-Base微调而来架构与推理管线相同但文字分组与版面组织明显更整齐凡涉及手写文字、便签、白板内容的任务直接选 SFT也就是本仓库的权重。环境确认与安装落位先确认环境需要Python 3.10和支持 CUDA 的 NVIDIA GPUPyTorch 2.9 及以上的对应 CUDA 版本构建。确认环境python --version看到 3.10 及以上nvidia-smi能看到 CUDA 版本。安装依赖pip install diffusers0.38 transformers5.3 accelerate1.10 safetensors0.6 Pillow10获取模型权重git clone https://gitcode.com/OpenMOSS/MOSS-Image-SFT目录里应能看到 model_index.json、transformer/、vae/、text_encoder/等完整结构根目录的 pipeline_moss_image.py 是模型依赖的自定义推理管线。 4.落位 Skill把 MOSS-Image 主仓库skills/下的moss-image-prompt-enhancer文件夹整个放进你 Agent 的 skills 目录其中SKILL.md定义扩写规则内置脚本负责编译坐标草稿。 5.验证可用python -c import diffusers, transformers无报错即可再在 Agent 里调用$moss-image-prompt-enhancer发一句测试想法能返回扩写描述就说明链路通了。该 Skill 面向具备本地文件与 Python 工具的 GPT-6 系列 Agent其他 Agent 可按SKILL.md里的规则手动扩写。最短路径出第一张图 目标是一次跑通。你可以先用 Skill 扩写自己的一句话也可以直接用官方示例提示词冰箱便签A wide view of a refrigerator beside a kitchen counter with a fruit bowl. A small sticky note on the refrigerator door is handwritten in Chinese: 记得买牛奶和鸡蛋牛奶两盒鸡蛋一打。顺便带一袋面包。默认参数运行import torch from diffusers import DiffusionPipeline pipe DiffusionPipeline.from_pretrained( OpenMOSS-Team/MOSS-Image-SFT, # 也可传本地 clone 的目录 custom_pipelinepipeline_moss_image, trust_remote_codeTrue, torch_dtype{default: torch.bfloat16, vae: torch.float32}, ) pipe.scheduler type(pipe.scheduler).from_config(pipe.scheduler.config) pipe.to(cuda) image pipe( prompt, height1024, width1024, num_inference_steps50, guidance_scale3.0, uncond_skip_layers[22], generatortorch.Generator(cpu).manual_seed(42), ).images[0] image.save(refrigerator_note.png)成功的标准refrigerator_note.png生成便签上有完整的中文手写文字、字符清晰可读 ✅精细控制Layout 坐标与受控编辑想要放哪由我定就切到 Layout 模式。Layout JSON 骨架summary.caption装场景描述items装元素列表每个元素带文字与 bbox{ summary: {caption: …场景描述…}, bbox_format: yxyx, bbox_coord_space: abs_centralized, items: [ {text: …元素文字…, bbox: [y1, x1, y2, x2]} ] }items内各子字段的具体规范以SKILL.md为准。硬性约束尺寸必须一致生成尺寸必须与 Layout 画布一致画布 1024×1024 就按 1024×1024 出图不一致坐标会整体错位 ⚠️ 另外粘进提示词的是json.dumps(layout, ensure_asciiFalse)序列化后的紧凑 JSON不是像素坐标草稿。改一个字就改一处这是 Layout 相对长提示词的天然优势想改一个字只改items里对应条目的文字想挪位置改 bbox 即可不用重写整段提示词。参数速查与高频排错 以下默认值都来自模型自带配置不懂就保持默认参数默认值说明采样器Flow-matching Eulershift 为 5.0定义在 scheduler/scheduler_config.jsonnum_inference_steps50—guidance_scale3.0每步两次前向含跳层预测uncond_skip_layers[22]负向分支跳过第 22 层从 0 计传[]关闭negative_prompt空可自行设置负向提示词height/width1024必须为 16 的正倍数dtypebfloat16transformer/text encoder、float32VAE经torch_dtype传入高频问题三句话给答案报错 height and width must be positive multiples of 16.传入的尺寸不是 16 的正倍数。改成 1024×1024 等 16 的倍数即可。出图尺寸与画布一致但文字位置不对说明粘的是像素坐标草稿而非编译结果。用json.dumps(layout, ensure_asciiFalse)序列化后的紧凑 JSON。文字分组乱、版面散是拿 Base 版做文字渲染任务。换 MOSS-Image-SFT 权重分组与版面明显更整齐。Agent 里调用 Skill 没反应Skill 依赖 GPT-6 系列 Agent 的本地文件与 Python 工具。换受支持的 Agent或按 SKILL.md 手动扩写。设置了负向提示词却像没生效默认uncond_skip_layers(22,)用跳层预测替代了负向分支预测。先传uncond_skip_layers[]再设置negative_prompt。收尾记住三件事Skill 的产物全是文本直接贴进正向提示词Layout 唯一硬约束是出图尺寸与画布一致。保持默认参数50 步、guidance_scale3.0、跳层[22]就是官方效果先跑通再调。模型权重与配套推理代码遵循 Apache License 2.0详见 LICENSE。【免费下载链接】MOSS-Image-SFT项目地址: https://ai.gitcode.com/OpenMOSS/MOSS-Image-SFT创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考