Grok 4.6 代理自动制作视频从提示词到成片全流程详细分享AI Agent 实操分享你有没有遇到过这种情况脑子里已经有一个完整的视频创意剧本、分镜、画面风格都想好了但真正动手做视频时光是剪素材、配音、加字幕就能耗掉一整天。更别提那些只给一句“帮我做一个科技感十足的短视频”的需求既要写脚本又要生成画面还要保持风格统一一个人根本忙不过来。最近很多开发者开始尝试用 AI Agent 把整条视频生产链路串起来。所谓 AI Agent不是简单调用一次大模型生成一段文字而是让模型“自己规划任务、调用工具、逐步执行”从你输入一句提示词开始自动完成脚本撰写、分镜设计、画面生成、剪辑合成最终输出一条完整的视频成片。Grok 4.6 这类大模型天然适合做这个流程的“大脑”因为它对自然语言的理解和指令遵循能力很强配合一套设计良好的提示词就能把一个模糊想法拆解成可执行的子任务。这篇文章不是玄学分享而是直接面向想动手实践的开发者。我会从最基础的 Agent 概念讲起接着给出一套可复制的提示词模板和 Python 代码示例带你跑通“提示词 → 脚本 → 分镜 → 视频生成”的最小闭环。读完你至少能实现一个简单的“自动制作短视频”工具同时知道哪些环节容易踩坑以及如何避免低级错误。1. 这篇文章真正要解决的问题先问一个实际的问题为什么很多人用 AI 生成视频最后效果却很拼凑要么画面和脚本对不上要么风格前后不一致要么生成了一堆素材但不知道怎么拼成一条有逻辑的作品。核心原因在于大部分人只是把 AI 当成一个“生成器”让它输出单个画面或一段文案却没有把它当成一个“制片人”来用。AI Agent 的价值恰恰是把一系列散落的 AI 能力组织成流水线。它先理解你的主题再拆解成若干个步骤比如“写脚本”“列分镜”“生成画面”“合成视频”每一步调用对应的工具或模型最后汇总成一个成品。这样做的好处不是“方便”而是“可控”——你可以对每个中间环节进行干预和修正而不是每次从零开始。这篇文章要解决三个具体的痛点提示词写不好不知道怎么把一句模糊需求变成能指导 AI 逐步执行的指令。流程不清晰不知道脚本、分镜、画面、音频这些环节如何衔接导致产物零散。代码门槛想自动化但不知道怎么接 API、怎么处理中间文件、怎么验证成品。如果你正在做内容创作工具、短视频批量生产、或者想给自己的工作室降本增效那么这篇文章的实操部分可以直接迁移到你的项目里。即使你只是业余想试试 AI 视频这套方法论也能帮你节省大量试错时间。2. AI Agent 与视频自动化的核心概念很多人把 AI Agent 和“调用一次大模型”混为一谈这是最大的误区。普通的大模型调用是你输入 prompt 返回一段文字一次交互就结束。而 Agent 的本质是一个循环模型先观察当前状态决定下一步动作写脚本、调某个 API、生成图片等执行动作后再观察结果再决定下一步直到完成整个任务。在视频制作场景里这个循环非常契合。你可以把 Agent 看成一位“数字制片人”它负责理解需求从你的初始提示词中提炼主题、风格、时长、目标受众。规划任务把“制作一条视频”拆解为“生成脚本”“设计分镜”“生成画面”“合成导出”等子任务。调用工具每个子任务可以对接不同的模型或库例如文本模型生成脚本图像模型生成关键帧FFmpeg 合成视频。自我校验生成一段画面后检查是否和脚本对应如果不对就重试。为了实现这个流程你需要三个基础组件一个语言模型担任“大脑”负责理解和规划。Grok 4.6 是这类模型中的一个选择它的优势在于对长上下文和多步指令的处理比较稳定。一个小工具集例如图像生成 API、视频处理库、音频合成库供 Agent 按需调用。一个提示词框架告诉模型“你现在是一位视频导演请按照以下步骤执行”包含角色设定、任务拆解、输出格式要求。提示词在这里的作用就相当于给“大脑”写了一份岗位说明书。没有这份说明书模型容易自由发挥结果不可控。有了它模型才能像一位专业助手一样按流程工作。我做一个对比能更清楚看到变化维度传统方式AI Agent 方式交互形式多次手工调用不同工具一次提示词自动串联中间产物散落的脚本、图片、音频文件有结构的任务状态和输出目录修改成本改一处要重新生成后续所有环节可以定位到某一环节重新执行适合场景零星创作批量生产、模板化创作这里一个容易误解的点是Agent 并不是“全自动”它仍然需要你设计好流程和边界。你越是把每一步的输入输出定义清楚Agent 的表现就越稳定。反过来如果只丢一句“帮我做个视频”它可能会给出一个很泛泛的结果因为缺少约束。3. 环境准备与工具链选型开始写代码之前先把环境准备好。由于不同的视频生成服务 API 各有差异我这里只演示通用的思路具体版本请以你实际使用的库和服务为准。3.1 基础运行环境Python 3.9 以上推荐 3.10 或 3.11。一个可用的 API Key用于调用语言模型和图像生成模型。无论你用的是 Grok 还是其他模型本质都是 HTTP 请求。本地安装 FFmpeg用于视频合成。在 Ubuntu 上可以用sudo apt install ffmpegmacOS 用brew install ffmpegWindows 用户可以从官网下载后加入 PATH。3.2 Python 依赖库我们主要用到这几个库pip install requests openai python-dotenv Pillowrequests发送 HTTP 请求。openai只是一个通用客户端库可以配置成访问不同的 OpenAI 兼容接口。很多模型服务都提供兼容接口方便统一调用。python-dotenv从.env文件读取 API Key避免硬编码。Pillow验证和简单处理图像。如果你准备直接用 FFmpeg 合成视频不需要额外装视频处理库直接通过subprocess调用命令行即可。3.3 工具链职责划分一个稳定的视频自动生产链路建议按下面分工组件职责工具示例语言模型生成脚本、分镜、提示词Grok 4.6 或任意大模型图像模型根据分镜生成关键帧各种文生图 API视频合成将关键帧连成视频FFmpeg音频模型生成旁白或背景音可选按需接入主控脚本编排以上组件Python别一上来就追求“全自动”“端到端”那会很难调试。先跑通一条最简单的链路生成脚本 → 生成几个关键帧 → FFmpeg 拼成无声视频。把这条链路稳定了再加音频、字幕、特效。4. 从提示词到脚本设计高质量的提示词结构化模板提示词是 AI Agent 制作视频的起点也是决定成片质量的关键。很多人写提示词就一句话比如“生成一个关于猫的视频”这种输入 Agent 根本没法展开。真正有效的提示词应该包含角色、任务、步骤、格式、约束五个要素。下面是一份可直接复用的模板以初始需求为基础交给语言模型自动展开你是一位专业的短视频导演。请根据以下要求生成一条完整视频的制作方案。 【初始需求】 主题{用户输入的主题} 目标时长{例如 30 秒} 目标受众{例如 年轻上班族} 整体风格{例如 赛博朋克、科技感、明亮温馨} 【执行步骤】 1. 根据主题撰写一段 100 字左右的旁白脚本语言口语化适合配音。 2. 将旁白脚本拆成至少 4 个分镜每个分镜给出画面描述、镜头运动、画面时长。 3. 为每个分镜生成一段用于图像生成的提示词要求包含主体、背景、光线、风格、画幅比例。 4. 按照 JSON 格式输出结果字段包括script, scenes, scene_prompts。 【输出约束】 - 所有描述必须具体避免“美丽的”“好看的”这类模糊形容词。 - 场景切换要连贯同一镜头下主体风格保持一致。 - 每个分镜的时长总和必须等于目标时长。把这段模板喂给语言模型它就能结构化地返回结果。你可能会问这比直接写脚本多了什么多了“可执行性”。scene_prompts是专门给图像生成模型用的这种层次化输出让 Agent 可以直接拿它去调下一个工具而不用再自己解析。实际在代码里我会这样组织第一步的调用。假设语言模型服务提供 OpenAI 兼容接口# 文件路径video_agent/generate_script.py import os import json from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.getenv(LLM_API_KEY), base_urlos.getenv(LLM_BASE_URL), ) template 你是一位专业的短视频导演。请根据以下要求生成一条完整视频的制作方案。 【初始需求】 主题{topic} 目标时长{duration} 目标受众{audience} 整体风格{style} 【执行步骤】 1. 根据主题撰写一段 100 字左右的旁白脚本语言口语化适合配音。 2. 将旁白脚本拆成至少 4 个分镜每个分镜给出画面描述、镜头运动、画面时长。 3. 为每个分镜生成一段用于图像生成的提示词要求包含主体、背景、光线、风格、画幅比例。 4. 按照 JSON 格式输出结果字段包括script, scenes, scene_prompts。 【输出约束】 - 所有描述必须具体避免“美丽的”“好看的”这类模糊形容词。 - 场景切换要连贯同一镜头下主体风格保持一致。 - 每个分镜的时长总和必须等于目标时长。 def generate_script(topic: str, duration: str 30 秒, audience: str 年轻上班族, style: str 科技感) - dict: prompt template.format( topictopic, durationduration, audienceaudience, stylestyle, ) response client.chat.completions.create( modelgrok-4.6, # 具体模型名以服务商提供为准 messages[ {role: system, content: 你是一个严格输出 JSON 的 AI 助手。}, {role: user, content: prompt} ], temperature0.7, ) content response.choices[0].message.content return json.loads(content) if __name__ __main__: result generate_script(一只机器狗在赛博朋克城市中奔跑) print(json.dumps(result, ensure_asciiFalse, indent2))注意这里有几个容易出错的点JSON 解析大模型有时会在 JSON 前后加注释或者 markdown 代码块标签建议在解析前做一次清洗去掉json 和标记。字段一致性如果你后续要自动消费scene_prompts字段名一定要固定不要随便改。模型选择我写了modelgrok-4.6但如果你用的是其他模型替换成对应模型名即可。不要照抄要看你实际开通的服务。运行这段代码你得到的是结构化的脚本计划和提示词这比一段文字强得多因为它可以直接进入下一步处理。5. AI Agent 自动分解任务从脚本到分镜拿到脚本和分镜列表后Agent 的下一步是根据每个分镜的描述去生成图像。生成图像这一步通常也是调用一个 API。为了保证风格统一最有效的办法是在每个分镜的图像提示词前面都加上同一个“风格前缀”。例如你生成的分镜提示词可能长这样{ scenes: [ {id: 1, description: 机器狗从城市主干道跑过, duration: 8}, {id: 2, description: 机器狗跳过障碍物, duration: 7} ], scene_prompts: [ 一只红色涂装的机器狗在夜晚赛博朋克城市街道上奔跑霓虹灯反射在金属表面浅景深动态模糊16:9, 机器狗腾空跳起越过一个碎裂的广告牌火花四溅背景是高楼密布的科技城16:9 ] }为了让画面风格一致我会在代码里为每个scene_prompt拼接一个style_suffix比如统一采用赛博朋克风格色彩偏冷霓虹灯为青色和洋红色画面锐利。这种做法比依赖模型自动保持风格要可靠得多。接下来用一个 Python 类来封装图像生成和视频合成。由于具体的图像生成 API 差异较大这里只给出一个接口设计思路你可以根据自己使用的服务去替换。# 文件路径video_agent/render_scene.py import os import subprocess from pathlib import Path from PIL import Image class SceneRenderer: def __init__(self, style_suffix: str): self.style_suffix style_suffix def generate_image(self, scene_prompt: str, save_path: str) - str: 调用外部图像生成服务返回保存后的图片路径。 这里用 requests 占位实际换成你的服务商 SDK 即可。 # 伪代码仅示意 # resp requests.post(image_api_url, json{prompt: scene_prompt self.style_suffix}) # with open(save_path, wb) as f: # f.write(resp.content) # return save_path raise NotImplementedError(请替换为你自己的图像生成逻辑) def render_video(self, image_dir: str, output_path: str, durations: list[int], fps: int 30): image_paths sorted(Path(image_dir).glob(scene_*.png)) assert len(image_paths) len(durations), 图片数量和时长列表不一致 # 生成一个用于 ffmpeg 的图片序列描述 list_file Path(image_dir) / file_list.txt with open(list_file, w) as f: for img, dur in zip(image_paths, durations): f.write(ffile {img.resolve()}\n) f.write(fduration {dur / fps}\n) cmd [ ffmpeg, -y, -f, concat, -safe, 0, -i, str(list_file), -vf, fps{}.format(fps), -pix_fmt, yuv420p, output_path, ] subprocess.run(cmd, checkTrue) return output_path这段代码的核心价值是把“生成分镜图片”和“合成视频”两个能力拆成了单独的方法主流程只需要按顺序调用。注意durations必须与图片数量一致否则 FFmpeg 会报错。这里我只是提供框架具体的图像生成服务你要按自己的实际环境接入。一套比较通用的 Agent 主流程如下# 文件路径video_agent/main.py import json from pathlib import Path from generate_script import generate_script from render_scene import SceneRenderer def main(topic: str): # 第一步生成脚本和分镜 plan generate_script(topic) # 第二步逐场景渲染图片 renderer SceneRenderer(style_suffix统一采用赛博朋克风格色彩偏冷) image_dir Path(output/images) image_dir.mkdir(parentsTrue, exist_okTrue) durations [] for scene in plan[scenes]: idx scene[id] prompt plan[scene_prompts][idx - 1] save_path image_dir / fscene_{idx}.png renderer.generate_image(prompt, str(save_path)) durations.append(scene[duration]) # 第三步合成视频 output_path output/video.mp4 renderer.render_video(str(image_dir), output_path, durations) print(视频已生成, output_path) if __name__ __main__: main(一只机器狗在赛博朋克城市中奔跑)这样我们就实现了最核心的 Agent 调度逻辑。注意这里我故意没有把所有功能写死而是留出generate_image接口让你替换真实服务。原因很简单不同服务商的图像生成 API 都在快速迭代为了避免这篇文章迅速过时我更希望给你一套能迁移的代码骨架。6. 视频生成与完整示例把素材连成成片前面已经拆好了分镜和图片这一节专门讲如何用 FFmpeg 把图片序列变成连续的视频并加上简单的过渡效果。很多初学者会觉得视频合成很复杂其实 FFmpeg 的 concat 协议就够用关键是要处理好转场和时长。下面的示例会展示两种方式方式一简单拼接所有图片按固定时长依次出现。方式二加入淡入淡出转场让画面切换更自然。先看方式一的完整代码它已经集成到上一节的render_video中我们再优化一下支持输出横屏和竖屏# 生成缩略图目录 mkdir -p output/images # 假设图片已生成执行合成 ffmpeg -y -f concat -safe 0 -i output/images/file_list.txt \ -vf scale1920:1080:force_original_aspect_ratiodecrease,pad1920:1080:(ow-iw)/2:(oh-ih)/2,fps30 \ -pix_fmt yuv420p output/video.mp4但上面的命令行需要你手动准备file_list.txt。为了自动化我在 Python 里直接生成这个文件再调用subprocess这是一个很常见的做法。如果你想加入转场效果最稳妥的方案是用 FFmpeg 的xfade滤镜。xfade需要两两视频片段合成写起来会比较绕所以更推荐一个简化思路先生成每个场景的独立视频片段再用ffmpeg的concat滤镜合成。下面是一个更实用的函数支持对每个场景做简单的淡入淡出# 文件路径video_agent/compose_video.py import subprocess from pathlib import Path def create_scene_clip(image_path: str, duration: int, output_path: str, fade_duration: int 1, fps: int 30): 将单张静态图片转成一个带淡入淡出效果的小视频片段。 cmd [ ffmpeg, -y, -loop, 1, -i, image_path, -vf, ffps{fps},fadetin:st0:d{fade_duration},fadetout:st{duration - fade_duration}:d{fade_duration}, -c:v, libx264, -t, str(duration), -pix_fmt, yuv420p, output_path, ] subprocess.run(cmd, checkTrue) def combine_clips(clip_paths: list[str], output_path: str): 将多个视频片段按顺序拼接。 if len(clip_paths) 1: # 只有一个片段时直接复制 subprocess.run([ffmpeg, -y, -i, clip_paths[0], -c, copy, output_path], checkTrue) return # 使用 concat 协议 list_file Path(output/clip_list.txt) with open(list_file, w) as f: for clip in clip_paths: f.write(ffile {clip}\n) subprocess.run( [ffmpeg, -y, -f, concat, -safe, 0, -i, str(list_file), -c, copy, output_path], checkTrue, )调用方式很简单# 先生成每个场景的图片然后 clip_paths [] for i, scene in enumerate(plan[scenes]): clip_path foutput/clips/scene_{i}.mp4 create_scene_clip(foutput/images/scene_{i}.png, scene[duration], clip_path) clip_paths.append(clip_path) combine_clips(clip_paths, output/final_video.mp4) print(成片已生成)这段代码里有个细节值得注意create_scene_clip的fade滤镜如果你设置fade_duration大于duration的一半FFmpeg 会报错因为淡入和淡出会重叠。实际项目中我建议把fade_duration控制在 0.5 到 1 秒大部分短视频场景都合适。FFmpeg 命令如果不带-pix_fmt yuv420p生成的视频可能在部分播放器里无法正常播放这是一个新手最容易踩的坑。加上这个参数兼容性会好很多。7. 运行过程与效果验证当你把上面的代码串起来运行后会经历几个阶段。我会把预期的输出和验证方式写出来方便你判断每一环节是否成功。7.1 运行命令在项目根目录执行python video_agent/main.py7.2 预期过程控制台打印出结构化 JSON包含script,scenes,scene_prompts。图片生成循环开始每一张图片保存到output/images/scene_N.png。视频合成阶段FFmpeg 输出大量日志最终看到video.mp4或final_video.mp4生成。7.3 验证检查清单检查项判断方式通过标准脚本质量人工阅读脚本文本语意连贯与主题相关分镜数量查看 JSON 中 scenes 数组长度至少 4 个场景图片风格打开图片肉眼检查风格一致无明显错乱视频时长用 FFprobe 查询与脚本预期总时长误差小于 1 秒播放兼容用 VLC 或浏览器播放能正常播放无黑屏或马赛克FFprobe 是一个常用命令可以这样使用ffprobe -v error -show_entries formatduration -of defaultnoprint_wrappers1:nokey1 output/final_video.mp4如果输出时长和你设置的分镜时长之和不一致那说明某个环节出了问题。最常见的错误是durations列表和图片数量不匹配或者 FFmpeg 的 concat 协议因为文件路径带有特殊字符而失败。7.4 失败时的第一步排查如果执行某一步报错先看控制台最后 20 行日志。FFmpeg 的报错一般会明确告诉你是哪一行命令出错比如“No such file or directory”通常就是路径问题。如果图片生成失败先去调用图像生成 API 的返回值里找错误码确认是不是超时或余额不足。区分好“生成端失败”还是“合成端失败”能省下大量排查时间。8. 常见问题与排查思路问题现象可能原因排查方式解决方案大模型返回的 JSON 无法解析模型输出包含代码块或多余字符打印原始返回内容用正则表达式提取 JSON 部分或要求模型只输出纯 JSON生成的图片风格不一致每个分镜提示词差异过大缺少统一约束对比各分镜提示词在所有提示词后面追加固定的style_suffixFFmpeg 报错 “Unknown encoder”编译版本缺少 libx264执行ffmpeg -encoders查看安装带 libx264 的版本或改用其他编码器视频生成后没有画面没有使用-pix_fmt yuv420p查看视频编码信息添加-pix_fmt yuv420p图片生成很慢或失败并发请求过多或 API 限流查看服务商错误码加入重试机制和请求间隔时长不正确durations与图片数量不一致打印两者长度在渲染前断言数量一致这里我想特别强调一个问题重试机制。图像生成 API 经常会因为超时或限流返回失败如果你不去处理整个 Agent 流程就会中断。一个简单可靠的做法是给generate_image增加重试比如失败后等待 10 秒再试一次最多试 3 次。import time def generate_image_with_retry(renderer, prompt, save_path, retries3): for attempt in range(retries): try: renderer.generate_image(prompt, save_path) return except Exception as e: print(f第 {attempt 1} 次尝试失败{e}) if attempt retries - 1: time.sleep(10 * (attempt 1)) raise RuntimeError(图片生成最终失败)9. 最佳实践与工程建议说完了代码再聊一些工程层面上的建议。这些不是可选项而是能让你的方案真正在生产环境跑起来的关键。9.1 提示词版本管理提示词是整套系统的“灵魂”建议像管理代码一样管理提示词。把你的模板放在单独的prompts.py文件或者 JSON 配置里每次修改都走版本控制。不要直接改代码里的字符串否则后期很难追溯。9.2 中间产物保留策略生成视频的中间文件比如脚本、分镜图片、音频文件不要用一次删一次。建议按时间或者任务 ID 建立目录方便调试和二次修改。我见过不少团队因为删掉中间文件导致后期想改配音或换风格时不得不从头跑一遍完整流程非常浪费时间。9.3 错误处理与日志在 Agent 主循环里每一个子任务都要有独立的 try/except并且记录足够详细的日志。至少包含任务名称、输入参数、输出路径、耗时、错误信息。否则当流程非常长时你很难定位是哪一步出的问题。9.4 成本控制图像生成和大模型调用都需要算力或 API 费用。在开发阶段建议先用少量分镜和低分辨率测试跑通后再增加数量。同时可以设置一个“最大迭代次数”避免 Agent 因为某一步失败而无限重试导致成本失控。9.5 安全与合规用 AI 生成视频素材时要注意相关服务的使用条款不要生成违法或违背公序良俗的内容。如果你要批量发布还需要考虑版权和平台审核规则。对不确认的内容宁可舍弃也不要尝试绕过规则。10. 总结与后续学习方向这篇内容的核心是把 AI 视频制作从“想一步做一步”变成“构建一个可自动执行的 Agent 流程”。我们讲解了 AI Agent 的基本运行逻辑提供了一套从提示词模板到代码实现的最小可行方案并且把 FFmpeg 合成视频的细节也讲透了。你先不用急着追求“全自动完美成片”。最务实的做法是先跑通今天给出的代码骨架验证脚本生成、图片生成、FFmpeg 合成这三个环节把其中一两个 API 换成你实际使用的服务。当你熟练掌握了单条视频流程再考虑批量生产、加入音频字幕、甚至用 Agent 自动根据分析平台数据来优化下一轮视频内容那才更有价值。如果你对提示词工程感兴趣可以继续深入探索结构化模板和自校验机制如果你想进一步理解 Agent 的规划与工具调用机制可以研究 LangGraph、AutoGPT 这类框架的源码。关键是把今天这套最小闭环跑起来它会把你的创作流程往前推进一大截。