你第一次用 AI 生成视频的时候最崩溃的画面是什么大概率不是“生成失败”而是提示词已经写到最长出片仍然崩角色的脸在第三秒换了一个人刚才还在强调的构图镜头一推进就全丢了草图里的分镜和成品更是毫无关系。于是你得到一个很自然的结论AI 视频不行。但事实是AI 视频早就不缺“生成能力”缺的是“调度能力”。你还在用输入一句话的方式处理一件需要完整流水线才能做好的事。所以这篇文章先给一个明确的判断从草图到电影级 AI 视频关键不在某个能“一键生成大片”的模型而在于你能不能把过程拆成草图、参考图、关键帧、图生视频、后期合成这五个可控环节。最近社区里讨论度很高的 Google Flow以及你见过的各种 AI 视频工作流本质上都在做同一件事让“生成”变成一段可以维护、可以复用、可以参数化的流水线。如果你在找的是某个藏在界面里的神秘按钮这篇文章可能会让你失望如果你想要的是让中配电脑也能稳定产出高质量 AI 视频的方法那它非常适合你。这篇文章不会依赖某个产品的特定版本而是带你理解并实测一条通用的 AI 视频工作流。我们会从概念讲起把“工作流”拆开看然后给出一套可以在 3060 这类中配显卡上跑通的环境方案再通过 ComfyUI、提示词模板和 FFmpeg 完整走一遍“草图到成片”的流程。最后我会把新手最常见的坑和排查路径整理成清单。建议先收藏再往下读。1. 为什么“一句话生成视频”不是正确姿势很多人在第一次接触 AI 视频生成时都会把全部希望押在“提示词”上场景写详细一点、镜头写具体一点、风格词多堆一点以为这样模型就能交出电影级画面。但实际结果往往很残酷。问题不在提示词而在“单次生成”这件事本身就不适合完成高确定性任务。电影级画面有三个最基本的要求角色一致、镜头稳定、构图准确。你仔细想想这三个要求里任何一个都很难靠“一句话”约束。模型在生成时拥有极大的自由度它会自行补全大量你没有指定的细节。你没有给出参考图它就只能随机想象角色的脸你没有给出关键帧它就自行决定起始构图你没有把运镜拆成参数它就开始自由推拉摇移。于是角色漂移、镜头失控、细节崩坏几乎是必然结果。对比一下两种生产方式维度一句话生成工作流生成角色一致性靠运气中途易变形靠参考图和 IPAdapter 锁定构图控制不可控模型自由发挥用 ControlNet/草图约束首帧镜头运动随机性高显式参数可复现修改成本重新生成整段只改失败环节可复用性几乎为零模板化保存复用度高这里真正容易踩坑的地方是你盲目追求“一次生成”结果反而花了更多时间在反复生成和抽卡上。工作流看起来步骤更多但实际上每一步只解决一个明确问题任何一步出了偏差重新跑那一步就行不需要整个推倒重来。这是“单次生成”和“工作流生成”最本质的差异。所以我的第一个建议是从今天开始不要再用“文生视频一句话出片”的思路而是把目标拆成一个漏斗——草图定构图、参考图定角色、关键帧定首帧、图生视频定动态、后期定节奏。每一步都窄但每一步都稳。2. Google Flow 与“工作流化”的底层逻辑说实话关于 Google Flow 的公开资料目前并不系统很多人引用这个名字时指的其实是同一类东西把 AI 操作节点化、串行化、可编排化的工作流平台。就像 n8n 把接口调用变成自动化流Dify、Coze 把大模型应用变成编排逻辑ComfyUI 把图像生成变成节点图一样AI 视频生成的“工作流化”就是把传统后期制作里“一个环节一台软件”的方式压缩成一条统一的流水线。这个底层逻辑值得反复强调节点Node是工作流的最小单元连接Link决定数据怎么流动参数Parameter决定每一步的行为。过去你在 AE 或 PR 里做剪辑、调色、特效是人工在不同软件之间搬运素材现在你只要定义好“草图上载 → 生成关键帧 → 图生视频 → 导出片段”中间产物的搬运由工作流自动完成。这条流水线一旦搭好你可以反复修改提示词、换参考图、调 Seed而不需要重做整个过程。“Google Flow 隐藏功能”如果真有什么值得挖掘的地方我认为不是某个没人发现的按钮而是“隐藏流程”的思维方式把一次生成拆成多个阶段。多数人只会用文生视频的一级界面所以始终觉得生成结果不可控。而真正用好 AI 视频的人早就开始用多级工作流先生成静态关键帧再用关键帧作为首帧做图生视频最后用后期工具把多个片段拼成完整叙事。这个思路和 Google Flow 这类产品想要实现的“流程透明化”是完全一致的。有的读者可能觉得节点太多会不会更复杂实际上复杂度是守恒的。你不在工作流里显式处理“一致性”和“运镜”就要在重复生成里用时间去填坑。工作流的好处是复杂度可见、可管理、可复用。一段跑通的工作流团队里的其他人拿来换个草图就能用这是传统手工流程做不到的。3. 核心概念草图、参考图、关键帧与图生视频如果你完全没接触过 AI 视频工作流下面的名词就是你的第一组必修课。每个概念之间是严格的上下游关系草图 → 参考图 → 关键帧 → 视频片段 → 成片。3.1 草图Sketch草图是分镜的表达不一定精美但一定要表达清楚景别是近景还是远景主体在画面哪个位置镜头是从哪个角度拍过去画面里有哪些必需的视觉元素。草图的作用是给后续的“关键帧生成”一个构图锚点。没有草图模型就只能凭提示词发散。有草图画面构图就从“随机生成”变成了“受控补全”。3.2 参考图Reference Image参考图是角色、物品或场景的视觉锚点。以角色为例你不可能期望模型在 20 秒的视频里自己记住一张脸所以你要先在文生图阶段稳定生成一张角色定妆图再在后续所有环节里反复使用这张图。参考图通常配合 IPAdapter 这类节点使用它的作用是“把风格和形象嵌入生成过程”而不是简单地把图片贴在结果里。3.3 关键帧Keyframe关键帧是真正进入视频模型的静态画面。它决定了视频的第一帧也基本决定了整段视频的构图和色调。很多新手以为图生视频就是把任意图片丢进去其实更稳妥的做法是先用 ControlNet 把草图转成符合要求的高质量关键帧再把关键帧作为视频生成的起点。关键帧质量越高最终视频的稳定性越强。3.4 图生视频Image-to-Video图生视频是以一张静态图为起点生成一段连续动态画面的过程。和文生视频相比它的随机性更小因为第一帧已经确定。你在这一步要控制的主要参数是运动幅度、生成帧数、步数、Seed。运动幅度越大动态越丰富但画面漂移和形变风险也越高。实际项目里通常先用低运动幅度跑一版确认主体没有崩再逐步调高。3.5 后期合成Post-production最后一步是合成把多个视频片段拼接起来加转场、调色、字幕和背景音乐。这个环节不一定要用 AIFFmpeg 就能完成大部分工作也可以用剪映或 PR 做精剪。工作流的优势在于所有片段素材都会被放入同一个项目目录便于后期统一处理。下面的表格可以帮你快速理解每个阶段的位置阶段输入输出主要目的草图分镜需求构图草图定义画面布局参考图角色/风格描述角色定妆图锁定视觉锚点关键帧草图参考图高质量静态画面决定视频首帧图生视频关键帧视频片段生成动态画面后期合成多段视频完整成片拼接、调色、声音还有一个贯穿始终的概念叫“种子Seed”。Seed 决定了模型生成随机噪声的起点。同一个 Seed 在同一模型下会得到相近的结果。当你终于找到一个不错的画面时先固定 Seed再微调其他参数这能大幅减少试错成本。这个细节很多教程都不会提但它恰恰是工作流里最实用的“隐藏功能”。4. 环境准备中配硬件也能跑的方案先说结论如果你有一张 3060 级别的 NVIDIA 显卡本地跑 AI 视频生成是可行的但需要控制分辨率、帧数和步数。至于“3060 能跑 AI 视频生成吗”这个问题更准确的回答是能跑但要接受“低分辨率出草稿、选好方向后再放大”这种工作习惯。4.1 硬件与软件清单本地方案里最常用的软件栈是 Python ComfyUI FFmpeg。如果你的显卡不是 NVIDIA或者显存小于 8GB也不代表不能做只是本地跑图生视频的体验会明显下降建议优先考虑云端算力或云端 API。具体的模型版本请以你实际安装的版本为准本文重点演示通用思路。组件建议要求GPUNVIDIA 显卡显存 8GB 以上CPU普通多核即可内存16GB 以上操作系统Windows / Linux / macOS 均可Python3.10 或 3.11工具Git、ComfyUI、FFmpeg4.2 安装 ComfyUIComfyUI 是目前社区里最适合搭建 AI 视频工作流的工具因为它天然就是节点化界面每一个步骤都由节点组成。安装方式如下git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI python -m venv venv # Windows 下执行venv\Scripts\activate # macOS/Linux 下执行source venv/bin/activate pip install -r requirements.txt如果你的网络环境无法直接访问 GitHub也可以通过官方压缩包下载后解压。安装完成后启动本地服务python main.py --listen 127.0.0.1 --port 8188启动成功后浏览器打开http://127.0.0.1:8188就能看到 ComfyUI 的节点工作台。模型文件需要放到 ComfyUI 目录下的models文件夹里比如通用模型放models/checkpointsControlNet 模型放models/controlnetIPAdapter 模型放models/ipadapter。具体文件名和你下载的模型一致即可不需要强行套用别人的路径。强烈建议顺手安装 ComfyUI Manager它可以帮助你一键安装缺失的自定义节点。导入别人的工作流时很大概率会遇到“缺少节点”的提示这个管理器能省掉大量手动搜索的时间。安装方式在它的 GitHub 页面有说明各版本入口略有差异以你实际看到为准。5. 完整流程拆解从草图到电影级视频环境准备好之后我们开始真正的工作流。每一步都很重要我会把每个环节要用的提示词、配置和命令放在对应位置方便你边读边操作。5.1 定分镜与草图电影感源于叙事叙事源于分镜。不要直接对着空白画布开始生成先定镜头表镜号景别运动内容时长01近景缓慢推进主角站在雨夜街头抬头3s02中景横移霓虹灯倒映在水面3s03远景固定主角走入小巷背影4s有了镜头表之后用任何绘图工具画出粗略构图。草图不需要精致但要把主体位置、透视关系和关键元素画清楚。这一步的输出是一系列“构图草图”它是后续所有节点共同依赖的输入。5.2 生成角色参考图接下来用文生图生成一张角色定妆图。这一步的目标不是“好看”而是“稳定”。你希望这个角色能在后续所有镜头里保持同一张脸、同一套服装所以提示词里要写清楚角色特征并且把不必要的随机元素都排除掉。一个可以参考的中文提示词模板{ prompt: 一个年轻女性角色深蓝色连帽卫衣黑色短发眼神坚定雨夜街头电影感浅景深35mm镜头写实风格, negative_prompt: 模糊五官变形多余手指文字水印肢体扭曲, steps: 30, width: 768, height: 432, seed: 42 }注意768x432 是适合视频生成的横向画幅比例。生成多张候选图后挑一张最符合预期的作为参考图后续不要随意更换。换一次参考图等于重新建立整个视觉锚点前后素材的一致性会立刻崩掉。5.3 用 ControlNet 把草图变成高质量关键帧现在进入关键节点把草图转成高质量关键帧。这一步的核心是“既要保留草图构图又要有电影级画质”。在 ComfyUI 里你需要加载一个基础模型然后接入 ControlNet 节点。ControlNet 会读取草图的线稿或边缘信息约束生成画面不偏离构图。如果你不希望角色形象发生漂移在这个环节还要接入 IPAdapter 节点把 5.2 中选出的角色参考图作为附加输入。简单来说ControlNet 负责“构图像”IPAdapter 负责“角色像”。两者同时使用才能同时保住构图和角色一致性。这里不给出某个特定插件的节点 JSON因为不同安装环境的节点名可能不同。更通用的做法是记住工作流连接顺序基础模型 → ControlNet(草图) → IPAdapter(参考图) → 采样器 → 解码输出。在 ComfyUI 里按这个顺序连线即可。生成结果是一张或多张候选关键帧从中挑选你最满意的一张作为图生视频的首帧。5.4 图生视频生成镜头片段关键帧选定后进入图生视频阶段。你可以在 ComfyUI 里安装对应的视频生成节点也可以把关键帧导出后投喂给其他在线图生视频工具。这一步的关键参数是运动幅度、帧数和步数。以开源社区常用模型为例一般推荐先跑 49 到 73 帧左右对应大约 2 到 3 秒的片段。运动幅度先控制在较低档位跑通后再上调。这里有一个值得养成的习惯同时生成多段候选片段选择最稳定的一段而不是只生成一段就拿来用。抽卡在单次生成里是玄学在工作流里是并行验证的常规操作。5.5 后期合成与成片当所有镜头片段都生成完毕就到了最后的合成阶段。你可以用 FFmpeg 做基础拼接也可以把素材导入剪映或 PR 做精剪。重点是把镜头编号和素材对应清楚避免出现镜头顺序混乱。这个阶段的关键不是艺术创作而是工程纪律所有素材统一命名、统一格式、统一帧率能节省大量返工时间。不要等到剪辑时才发现两个镜头的分辨率不同最好在生成阶段就固定所有片段的尺寸和帧率。6. 完整示例工作流配置与合成命令下面是整篇文章内容量最大的部分也是你可以直接复制到本地项目里的示例。6.1 工作流描述文件示例在团队协作或自己复现时强烈建议用一份 YAML 文件记录工作流结构而不只是凭记忆在 ComfyUI 里手拉节点。下面是一个自解释的工作流描述project: rainy-night-walk scene: scene_01 resolution: width: 768 height: 432 steps: - id: sketch type: input value: assets/sketches/01.png - id: character_ref type: input value: assets/refs/character.png - id: keyframe_generation type: comfyui model: realistic_vision.safetensors controlnet: control_v11p_sd15_canny.pth ipadapter: ipadapter_model.safetensors prompt_file: prompts/scene_01.json seed: 42 output: output/keyframes/01.png - id: video_generation type: image_to_video input: output/keyframes/01.png frames: 49 motion: 0.5 output: output/clips/scene_01.mp4这份文件不是某个软件的强制配置而是你的“项目蓝图”。有了它即使电脑重装、软件更新你也能在几小时内恢复整条工作流。所有节点名背后的模型以你实际安装的版本为准。6.2 提示词模板 JSON把提示词单独拆成文件管理可以避免每次修改都去工作流里翻节点。下面是一份针对电影级夜景的分镜提示词模板{ scene_01: { positive: close-up of a young woman in a dark blue hoodie, rainy street at night, neon signs reflected on wet asphalt, cinematic composition, shallow depth of field, 35mm lens, realistic texture, negative: blurry face, distorted hands, extra fingers, flickering, watermark, text, deformed limbs, camera: slow dolly-in, eye level }, scene_02: { positive: medium shot of neon signs reflected on wet street, rain drops, cinematic lighting, anamorphic lens, high contrast, negative: text, watermark, blurry, oversaturated, jitter, camera: lateral track }, scene_03: { positive: wide shot of a woman walking into a narrow alley, back view, rain, city lights bokeh, moody atmosphere, film grain, negative: face distortion, extra fingers, watermark, flickering, oversharpened, camera: static tripod } }建议把提示词拆成“画面内容 风格词 镜头词 负向词”四部分。画面内容决定主体风格词决定质感镜头词决定运动方向负向词负责排除常见崩坏。这四个部分在任何视频工作流里都通用。6.3 Python 脚本向本地 ComfyUI 提交任务如果你不想手动点界面可以用下面这个脚本把本地 ComfyUI 变成自动化接口。脚本功能很简单读取工作流 JSON提交到本地 ComfyUI 服务然后查询任务状态。注意ComfyUI 的/prompt接口需要的是 API 格式的 workflow JSON不是界面导出的带坐标信息的 JSON不同版本导出方式不同以你安装的版本实际显示为准。import json import urllib.request COMFYUI_HOST 127.0.0.1 COMFYUI_PORT 8188 def queue_prompt(workflow_json): url fhttp://{COMFYUI_HOST}:{COMFYUI_PORT}/prompt data json.dumps({prompt: workflow_json}).encode(utf-8) req urllib.request.Request( url, datadata, headers{Content-Type: application/json} ) with urllib.request.urlopen(req) as resp: return json.loads(resp.read().decode(utf-8)) def get_history(prompt_id): url fhttp://{COMFYUI_HOST}:{COMFYUI_PORT}/history/{prompt_id} with urllib.request.urlopen(url) as resp: return json.loads(resp.read().decode(utf-8)) if __name__ __main__: with open(workflow_api.json, r, encodingutf-8) as f: workflow json.load(f) result queue_prompt(workflow) prompt_id result.get(prompt_id) print(Prompt ID:, prompt_id)这个脚本的核心价值在于你可以在命令行里跑批量生成也可以在后续接入团队内部的任务系统。脚本本身不依赖任何特定模型唯一的前提是本地 ComfyUI 已经启动并且工作流 JSON 格式正确。6.4 FFmpeg 后期合成命令视频片段生成完成后使用 FFmpeg 做拼接是最轻量的方案。先把同一场景的多张关键帧合成为视频ffmpeg -framerate 24 -i frame_%03d.png -c:v libx264 -pix_fmt yuv420p keyframes.mp4再把多段生成好的视频片段按顺序拼接ffmpeg -i scene_01.mp4 -i scene_02.mp4 -i scene_03.mp4 \ -filter_complex [0:v][1:v][2:v]concatn3:v1[outv] \ -map [outv] concat.mp4如果需要给成片加上背景音乐并把音乐音量适当压低ffmpeg -i concat.mp4 -i bgm.mp3 \ -filter_complex [1:a]volume0.3[bgm] \ -map 0:v -map [bgm] -c:v copy -shortest final.mp4一段电影感视频的成片通常还需要统一帧率。如果你的多个片段帧率不一致建议在拼接前都用-r 24统一成 24fps否则后期会出现音画不同步或卡顿。7. 运行验证与效果判断一次完整的工作流跑下来你怎么知道到底成没成功不要只看“有输出文件”就以为完成了。我建议按下面的顺序验证。先看日志。ComfyUI 的控制台会打印每个节点的执行情况如果有模型加载失败、节点缺失、显存溢出日志里都会有明确提示。看到大量红色报错时第一件事不是重新生成而是先定位具体是哪个节点失败。再看输出目录。确认关键帧图片正常生成、视频片段体积不是 0KB。如果某个镜头只有 3 秒但文件大小不到 100KB大概率是黑屏或纯色画面。最后做一致性目检。把成片从头到尾看一遍重点检查三个方面角色在多个镜头中的脸型和服装是否一致镜头运动是否符合分镜表里的方向画面里是否出现闪烁、形变或多余物体。这三个检查点是 AI 视频最容易翻车的地方也是最容易被忽略的地方。如果你发现角色不一致通常需要回到第 5.3 步去增强参考图权重而不是直接重新生成视频。这是工作流思维和单次生成思维的重要区别哪里出问题就回到哪一步修而不是把整个视频重新生成一遍。8. 常见问题与排查思路下面这张表浓缩了我认为新手最容易遇到的高频问题建议收藏备用。问题现象可能原因排查方式解决方案导入工作流提示“缺少自定义节点”插件未安装查看报错中的节点名使用 ComfyUI Manager 一键安装缺失节点提示“请安装缺失的包”Python 依赖不全看控制台报错中的包名在虚拟环境中执行pip install 包名显存不足 OOM分辨率太高或批次太大看任务管理器显存占用降低分辨率、减少批次数、减小帧数角色不一致参考图权重不够对比不同镜头的角色脸部增强 IPAdapter 权重或统一参考图视频闪烁抖动运动幅度过大定位到具体镜头降低运动幅度重新生成该镜头生成速度很慢步数过高或分辨率过高记录单镜头耗时先低分辨率定稿再高清放大输出文件无法播放编码格式不对确认编码器用-pix_fmt yuv420p编码这些问题的排查顺序也有讲究。先看报错再看资源占用最后看结果文件。很多新手一遇到问题就换模型、换参数结果问题依然存在因为根因根本不在模型而在节点缺失或依赖冲突。9. 最佳实践、工程建议与合规边界工作流能不能从“自己用”升级成“团队用”取决于你有没有做好工程化。这里给出几条可以直接落地的建议。第一每个项目一个目录目录内部固定结构。比如project/scenes/scene_01/keyframes、project/output/clips这样即使隔了一个月回头处理也能快速找到素材。第二工作流 JSON 配置文件一定要纳入版本管理。ComfyUI 界面拉出的节点图很难在团队里逐字对比但 JSON 文件可以。每次改动工作流时提交一次记录备注里写下“改了什么、为什么改”这能帮你极大减少重复试错。第三批量生成时先低分辨率跑草稿确认构图和动态没问题后再用高分辨率做最终成片。不要一开始就追求 1080p那会让中配显卡直接进入 OOM 状态而且浪费大量时间。第四固定 Seed。当你确定一个镜头的整体方向后锁定 Seed再小幅调整提示词。如果你每次生成都在换 Seed等于每次都在抽新卡根本无法判断是哪个参数发挥了作用。关于内容安全这里必须多说几句。AI 视频生成工具本身是创作工具但不意味着什么内容都适合生成和发布。不要用这类工具生成违法违规内容也不要使用真实人物的肖像和受版权保护的素材去生成商业内容。发布前确认平台的内容规则尤其是涉及人脸、品牌、音乐等元素时更要多一道授权审核。技术能力越强越应该保持必要的内容边界。10. 总结与下一步学习方向到这里你应该已经理解 Google Flow 这类产品真正想解决的问题也掌握了一条从草图到电影级 AI 视频的完整工作流草图定构图参考图定角色ControlNet 和 IPAdapter 生成关键帧图生视频生成动态FFmpeg 完成后期。这套方法不依赖某个特定版本的软件也不会因为工具更新而过时。下一步我建议你先不要急着做完整大片而是找一个最简单的镜头从画一张草稿开始把 6.1 到 6.4 的示例完整跑通。跑通之后再尝试加转场、加音乐、加多镜头串联逐步把流程模板化。你会发现真正难得的不是一个“更强的模型”而是一套你能反复使用、出了问题知道去哪修的流程。如果你想继续深入可以重点关注三个方向ControlNet 不同预处理器对构图的影响、IPAdapter 在不同风格模型下的权重调节、以及图生视频节点里运动幅度和帧数的配合关系。这些内容都属于工作流调参的深水区也是做出稳定成片的关键。把示例跑透再回来读你会更有收获。 从草图到成片：AI视频生成工作流实战指南
你第一次用 AI 生成视频的时候最崩溃的画面是什么大概率不是“生成失败”而是提示词已经写到最长出片仍然崩角色的脸在第三秒换了一个人刚才还在强调的构图镜头一推进就全丢了草图里的分镜和成品更是毫无关系。于是你得到一个很自然的结论AI 视频不行。但事实是AI 视频早就不缺“生成能力”缺的是“调度能力”。你还在用输入一句话的方式处理一件需要完整流水线才能做好的事。所以这篇文章先给一个明确的判断从草图到电影级 AI 视频关键不在某个能“一键生成大片”的模型而在于你能不能把过程拆成草图、参考图、关键帧、图生视频、后期合成这五个可控环节。最近社区里讨论度很高的 Google Flow以及你见过的各种 AI 视频工作流本质上都在做同一件事让“生成”变成一段可以维护、可以复用、可以参数化的流水线。如果你在找的是某个藏在界面里的神秘按钮这篇文章可能会让你失望如果你想要的是让中配电脑也能稳定产出高质量 AI 视频的方法那它非常适合你。这篇文章不会依赖某个产品的特定版本而是带你理解并实测一条通用的 AI 视频工作流。我们会从概念讲起把“工作流”拆开看然后给出一套可以在 3060 这类中配显卡上跑通的环境方案再通过 ComfyUI、提示词模板和 FFmpeg 完整走一遍“草图到成片”的流程。最后我会把新手最常见的坑和排查路径整理成清单。建议先收藏再往下读。1. 为什么“一句话生成视频”不是正确姿势很多人在第一次接触 AI 视频生成时都会把全部希望押在“提示词”上场景写详细一点、镜头写具体一点、风格词多堆一点以为这样模型就能交出电影级画面。但实际结果往往很残酷。问题不在提示词而在“单次生成”这件事本身就不适合完成高确定性任务。电影级画面有三个最基本的要求角色一致、镜头稳定、构图准确。你仔细想想这三个要求里任何一个都很难靠“一句话”约束。模型在生成时拥有极大的自由度它会自行补全大量你没有指定的细节。你没有给出参考图它就只能随机想象角色的脸你没有给出关键帧它就自行决定起始构图你没有把运镜拆成参数它就开始自由推拉摇移。于是角色漂移、镜头失控、细节崩坏几乎是必然结果。对比一下两种生产方式维度一句话生成工作流生成角色一致性靠运气中途易变形靠参考图和 IPAdapter 锁定构图控制不可控模型自由发挥用 ControlNet/草图约束首帧镜头运动随机性高显式参数可复现修改成本重新生成整段只改失败环节可复用性几乎为零模板化保存复用度高这里真正容易踩坑的地方是你盲目追求“一次生成”结果反而花了更多时间在反复生成和抽卡上。工作流看起来步骤更多但实际上每一步只解决一个明确问题任何一步出了偏差重新跑那一步就行不需要整个推倒重来。这是“单次生成”和“工作流生成”最本质的差异。所以我的第一个建议是从今天开始不要再用“文生视频一句话出片”的思路而是把目标拆成一个漏斗——草图定构图、参考图定角色、关键帧定首帧、图生视频定动态、后期定节奏。每一步都窄但每一步都稳。2. Google Flow 与“工作流化”的底层逻辑说实话关于 Google Flow 的公开资料目前并不系统很多人引用这个名字时指的其实是同一类东西把 AI 操作节点化、串行化、可编排化的工作流平台。就像 n8n 把接口调用变成自动化流Dify、Coze 把大模型应用变成编排逻辑ComfyUI 把图像生成变成节点图一样AI 视频生成的“工作流化”就是把传统后期制作里“一个环节一台软件”的方式压缩成一条统一的流水线。这个底层逻辑值得反复强调节点Node是工作流的最小单元连接Link决定数据怎么流动参数Parameter决定每一步的行为。过去你在 AE 或 PR 里做剪辑、调色、特效是人工在不同软件之间搬运素材现在你只要定义好“草图上载 → 生成关键帧 → 图生视频 → 导出片段”中间产物的搬运由工作流自动完成。这条流水线一旦搭好你可以反复修改提示词、换参考图、调 Seed而不需要重做整个过程。“Google Flow 隐藏功能”如果真有什么值得挖掘的地方我认为不是某个没人发现的按钮而是“隐藏流程”的思维方式把一次生成拆成多个阶段。多数人只会用文生视频的一级界面所以始终觉得生成结果不可控。而真正用好 AI 视频的人早就开始用多级工作流先生成静态关键帧再用关键帧作为首帧做图生视频最后用后期工具把多个片段拼成完整叙事。这个思路和 Google Flow 这类产品想要实现的“流程透明化”是完全一致的。有的读者可能觉得节点太多会不会更复杂实际上复杂度是守恒的。你不在工作流里显式处理“一致性”和“运镜”就要在重复生成里用时间去填坑。工作流的好处是复杂度可见、可管理、可复用。一段跑通的工作流团队里的其他人拿来换个草图就能用这是传统手工流程做不到的。3. 核心概念草图、参考图、关键帧与图生视频如果你完全没接触过 AI 视频工作流下面的名词就是你的第一组必修课。每个概念之间是严格的上下游关系草图 → 参考图 → 关键帧 → 视频片段 → 成片。3.1 草图Sketch草图是分镜的表达不一定精美但一定要表达清楚景别是近景还是远景主体在画面哪个位置镜头是从哪个角度拍过去画面里有哪些必需的视觉元素。草图的作用是给后续的“关键帧生成”一个构图锚点。没有草图模型就只能凭提示词发散。有草图画面构图就从“随机生成”变成了“受控补全”。3.2 参考图Reference Image参考图是角色、物品或场景的视觉锚点。以角色为例你不可能期望模型在 20 秒的视频里自己记住一张脸所以你要先在文生图阶段稳定生成一张角色定妆图再在后续所有环节里反复使用这张图。参考图通常配合 IPAdapter 这类节点使用它的作用是“把风格和形象嵌入生成过程”而不是简单地把图片贴在结果里。3.3 关键帧Keyframe关键帧是真正进入视频模型的静态画面。它决定了视频的第一帧也基本决定了整段视频的构图和色调。很多新手以为图生视频就是把任意图片丢进去其实更稳妥的做法是先用 ControlNet 把草图转成符合要求的高质量关键帧再把关键帧作为视频生成的起点。关键帧质量越高最终视频的稳定性越强。3.4 图生视频Image-to-Video图生视频是以一张静态图为起点生成一段连续动态画面的过程。和文生视频相比它的随机性更小因为第一帧已经确定。你在这一步要控制的主要参数是运动幅度、生成帧数、步数、Seed。运动幅度越大动态越丰富但画面漂移和形变风险也越高。实际项目里通常先用低运动幅度跑一版确认主体没有崩再逐步调高。3.5 后期合成Post-production最后一步是合成把多个视频片段拼接起来加转场、调色、字幕和背景音乐。这个环节不一定要用 AIFFmpeg 就能完成大部分工作也可以用剪映或 PR 做精剪。工作流的优势在于所有片段素材都会被放入同一个项目目录便于后期统一处理。下面的表格可以帮你快速理解每个阶段的位置阶段输入输出主要目的草图分镜需求构图草图定义画面布局参考图角色/风格描述角色定妆图锁定视觉锚点关键帧草图参考图高质量静态画面决定视频首帧图生视频关键帧视频片段生成动态画面后期合成多段视频完整成片拼接、调色、声音还有一个贯穿始终的概念叫“种子Seed”。Seed 决定了模型生成随机噪声的起点。同一个 Seed 在同一模型下会得到相近的结果。当你终于找到一个不错的画面时先固定 Seed再微调其他参数这能大幅减少试错成本。这个细节很多教程都不会提但它恰恰是工作流里最实用的“隐藏功能”。4. 环境准备中配硬件也能跑的方案先说结论如果你有一张 3060 级别的 NVIDIA 显卡本地跑 AI 视频生成是可行的但需要控制分辨率、帧数和步数。至于“3060 能跑 AI 视频生成吗”这个问题更准确的回答是能跑但要接受“低分辨率出草稿、选好方向后再放大”这种工作习惯。4.1 硬件与软件清单本地方案里最常用的软件栈是 Python ComfyUI FFmpeg。如果你的显卡不是 NVIDIA或者显存小于 8GB也不代表不能做只是本地跑图生视频的体验会明显下降建议优先考虑云端算力或云端 API。具体的模型版本请以你实际安装的版本为准本文重点演示通用思路。组件建议要求GPUNVIDIA 显卡显存 8GB 以上CPU普通多核即可内存16GB 以上操作系统Windows / Linux / macOS 均可Python3.10 或 3.11工具Git、ComfyUI、FFmpeg4.2 安装 ComfyUIComfyUI 是目前社区里最适合搭建 AI 视频工作流的工具因为它天然就是节点化界面每一个步骤都由节点组成。安装方式如下git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI python -m venv venv # Windows 下执行venv\Scripts\activate # macOS/Linux 下执行source venv/bin/activate pip install -r requirements.txt如果你的网络环境无法直接访问 GitHub也可以通过官方压缩包下载后解压。安装完成后启动本地服务python main.py --listen 127.0.0.1 --port 8188启动成功后浏览器打开http://127.0.0.1:8188就能看到 ComfyUI 的节点工作台。模型文件需要放到 ComfyUI 目录下的models文件夹里比如通用模型放models/checkpointsControlNet 模型放models/controlnetIPAdapter 模型放models/ipadapter。具体文件名和你下载的模型一致即可不需要强行套用别人的路径。强烈建议顺手安装 ComfyUI Manager它可以帮助你一键安装缺失的自定义节点。导入别人的工作流时很大概率会遇到“缺少节点”的提示这个管理器能省掉大量手动搜索的时间。安装方式在它的 GitHub 页面有说明各版本入口略有差异以你实际看到为准。5. 完整流程拆解从草图到电影级视频环境准备好之后我们开始真正的工作流。每一步都很重要我会把每个环节要用的提示词、配置和命令放在对应位置方便你边读边操作。5.1 定分镜与草图电影感源于叙事叙事源于分镜。不要直接对着空白画布开始生成先定镜头表镜号景别运动内容时长01近景缓慢推进主角站在雨夜街头抬头3s02中景横移霓虹灯倒映在水面3s03远景固定主角走入小巷背影4s有了镜头表之后用任何绘图工具画出粗略构图。草图不需要精致但要把主体位置、透视关系和关键元素画清楚。这一步的输出是一系列“构图草图”它是后续所有节点共同依赖的输入。5.2 生成角色参考图接下来用文生图生成一张角色定妆图。这一步的目标不是“好看”而是“稳定”。你希望这个角色能在后续所有镜头里保持同一张脸、同一套服装所以提示词里要写清楚角色特征并且把不必要的随机元素都排除掉。一个可以参考的中文提示词模板{ prompt: 一个年轻女性角色深蓝色连帽卫衣黑色短发眼神坚定雨夜街头电影感浅景深35mm镜头写实风格, negative_prompt: 模糊五官变形多余手指文字水印肢体扭曲, steps: 30, width: 768, height: 432, seed: 42 }注意768x432 是适合视频生成的横向画幅比例。生成多张候选图后挑一张最符合预期的作为参考图后续不要随意更换。换一次参考图等于重新建立整个视觉锚点前后素材的一致性会立刻崩掉。5.3 用 ControlNet 把草图变成高质量关键帧现在进入关键节点把草图转成高质量关键帧。这一步的核心是“既要保留草图构图又要有电影级画质”。在 ComfyUI 里你需要加载一个基础模型然后接入 ControlNet 节点。ControlNet 会读取草图的线稿或边缘信息约束生成画面不偏离构图。如果你不希望角色形象发生漂移在这个环节还要接入 IPAdapter 节点把 5.2 中选出的角色参考图作为附加输入。简单来说ControlNet 负责“构图像”IPAdapter 负责“角色像”。两者同时使用才能同时保住构图和角色一致性。这里不给出某个特定插件的节点 JSON因为不同安装环境的节点名可能不同。更通用的做法是记住工作流连接顺序基础模型 → ControlNet(草图) → IPAdapter(参考图) → 采样器 → 解码输出。在 ComfyUI 里按这个顺序连线即可。生成结果是一张或多张候选关键帧从中挑选你最满意的一张作为图生视频的首帧。5.4 图生视频生成镜头片段关键帧选定后进入图生视频阶段。你可以在 ComfyUI 里安装对应的视频生成节点也可以把关键帧导出后投喂给其他在线图生视频工具。这一步的关键参数是运动幅度、帧数和步数。以开源社区常用模型为例一般推荐先跑 49 到 73 帧左右对应大约 2 到 3 秒的片段。运动幅度先控制在较低档位跑通后再上调。这里有一个值得养成的习惯同时生成多段候选片段选择最稳定的一段而不是只生成一段就拿来用。抽卡在单次生成里是玄学在工作流里是并行验证的常规操作。5.5 后期合成与成片当所有镜头片段都生成完毕就到了最后的合成阶段。你可以用 FFmpeg 做基础拼接也可以把素材导入剪映或 PR 做精剪。重点是把镜头编号和素材对应清楚避免出现镜头顺序混乱。这个阶段的关键不是艺术创作而是工程纪律所有素材统一命名、统一格式、统一帧率能节省大量返工时间。不要等到剪辑时才发现两个镜头的分辨率不同最好在生成阶段就固定所有片段的尺寸和帧率。6. 完整示例工作流配置与合成命令下面是整篇文章内容量最大的部分也是你可以直接复制到本地项目里的示例。6.1 工作流描述文件示例在团队协作或自己复现时强烈建议用一份 YAML 文件记录工作流结构而不只是凭记忆在 ComfyUI 里手拉节点。下面是一个自解释的工作流描述project: rainy-night-walk scene: scene_01 resolution: width: 768 height: 432 steps: - id: sketch type: input value: assets/sketches/01.png - id: character_ref type: input value: assets/refs/character.png - id: keyframe_generation type: comfyui model: realistic_vision.safetensors controlnet: control_v11p_sd15_canny.pth ipadapter: ipadapter_model.safetensors prompt_file: prompts/scene_01.json seed: 42 output: output/keyframes/01.png - id: video_generation type: image_to_video input: output/keyframes/01.png frames: 49 motion: 0.5 output: output/clips/scene_01.mp4这份文件不是某个软件的强制配置而是你的“项目蓝图”。有了它即使电脑重装、软件更新你也能在几小时内恢复整条工作流。所有节点名背后的模型以你实际安装的版本为准。6.2 提示词模板 JSON把提示词单独拆成文件管理可以避免每次修改都去工作流里翻节点。下面是一份针对电影级夜景的分镜提示词模板{ scene_01: { positive: close-up of a young woman in a dark blue hoodie, rainy street at night, neon signs reflected on wet asphalt, cinematic composition, shallow depth of field, 35mm lens, realistic texture, negative: blurry face, distorted hands, extra fingers, flickering, watermark, text, deformed limbs, camera: slow dolly-in, eye level }, scene_02: { positive: medium shot of neon signs reflected on wet street, rain drops, cinematic lighting, anamorphic lens, high contrast, negative: text, watermark, blurry, oversaturated, jitter, camera: lateral track }, scene_03: { positive: wide shot of a woman walking into a narrow alley, back view, rain, city lights bokeh, moody atmosphere, film grain, negative: face distortion, extra fingers, watermark, flickering, oversharpened, camera: static tripod } }建议把提示词拆成“画面内容 风格词 镜头词 负向词”四部分。画面内容决定主体风格词决定质感镜头词决定运动方向负向词负责排除常见崩坏。这四个部分在任何视频工作流里都通用。6.3 Python 脚本向本地 ComfyUI 提交任务如果你不想手动点界面可以用下面这个脚本把本地 ComfyUI 变成自动化接口。脚本功能很简单读取工作流 JSON提交到本地 ComfyUI 服务然后查询任务状态。注意ComfyUI 的/prompt接口需要的是 API 格式的 workflow JSON不是界面导出的带坐标信息的 JSON不同版本导出方式不同以你安装的版本实际显示为准。import json import urllib.request COMFYUI_HOST 127.0.0.1 COMFYUI_PORT 8188 def queue_prompt(workflow_json): url fhttp://{COMFYUI_HOST}:{COMFYUI_PORT}/prompt data json.dumps({prompt: workflow_json}).encode(utf-8) req urllib.request.Request( url, datadata, headers{Content-Type: application/json} ) with urllib.request.urlopen(req) as resp: return json.loads(resp.read().decode(utf-8)) def get_history(prompt_id): url fhttp://{COMFYUI_HOST}:{COMFYUI_PORT}/history/{prompt_id} with urllib.request.urlopen(url) as resp: return json.loads(resp.read().decode(utf-8)) if __name__ __main__: with open(workflow_api.json, r, encodingutf-8) as f: workflow json.load(f) result queue_prompt(workflow) prompt_id result.get(prompt_id) print(Prompt ID:, prompt_id)这个脚本的核心价值在于你可以在命令行里跑批量生成也可以在后续接入团队内部的任务系统。脚本本身不依赖任何特定模型唯一的前提是本地 ComfyUI 已经启动并且工作流 JSON 格式正确。6.4 FFmpeg 后期合成命令视频片段生成完成后使用 FFmpeg 做拼接是最轻量的方案。先把同一场景的多张关键帧合成为视频ffmpeg -framerate 24 -i frame_%03d.png -c:v libx264 -pix_fmt yuv420p keyframes.mp4再把多段生成好的视频片段按顺序拼接ffmpeg -i scene_01.mp4 -i scene_02.mp4 -i scene_03.mp4 \ -filter_complex [0:v][1:v][2:v]concatn3:v1[outv] \ -map [outv] concat.mp4如果需要给成片加上背景音乐并把音乐音量适当压低ffmpeg -i concat.mp4 -i bgm.mp3 \ -filter_complex [1:a]volume0.3[bgm] \ -map 0:v -map [bgm] -c:v copy -shortest final.mp4一段电影感视频的成片通常还需要统一帧率。如果你的多个片段帧率不一致建议在拼接前都用-r 24统一成 24fps否则后期会出现音画不同步或卡顿。7. 运行验证与效果判断一次完整的工作流跑下来你怎么知道到底成没成功不要只看“有输出文件”就以为完成了。我建议按下面的顺序验证。先看日志。ComfyUI 的控制台会打印每个节点的执行情况如果有模型加载失败、节点缺失、显存溢出日志里都会有明确提示。看到大量红色报错时第一件事不是重新生成而是先定位具体是哪个节点失败。再看输出目录。确认关键帧图片正常生成、视频片段体积不是 0KB。如果某个镜头只有 3 秒但文件大小不到 100KB大概率是黑屏或纯色画面。最后做一致性目检。把成片从头到尾看一遍重点检查三个方面角色在多个镜头中的脸型和服装是否一致镜头运动是否符合分镜表里的方向画面里是否出现闪烁、形变或多余物体。这三个检查点是 AI 视频最容易翻车的地方也是最容易被忽略的地方。如果你发现角色不一致通常需要回到第 5.3 步去增强参考图权重而不是直接重新生成视频。这是工作流思维和单次生成思维的重要区别哪里出问题就回到哪一步修而不是把整个视频重新生成一遍。8. 常见问题与排查思路下面这张表浓缩了我认为新手最容易遇到的高频问题建议收藏备用。问题现象可能原因排查方式解决方案导入工作流提示“缺少自定义节点”插件未安装查看报错中的节点名使用 ComfyUI Manager 一键安装缺失节点提示“请安装缺失的包”Python 依赖不全看控制台报错中的包名在虚拟环境中执行pip install 包名显存不足 OOM分辨率太高或批次太大看任务管理器显存占用降低分辨率、减少批次数、减小帧数角色不一致参考图权重不够对比不同镜头的角色脸部增强 IPAdapter 权重或统一参考图视频闪烁抖动运动幅度过大定位到具体镜头降低运动幅度重新生成该镜头生成速度很慢步数过高或分辨率过高记录单镜头耗时先低分辨率定稿再高清放大输出文件无法播放编码格式不对确认编码器用-pix_fmt yuv420p编码这些问题的排查顺序也有讲究。先看报错再看资源占用最后看结果文件。很多新手一遇到问题就换模型、换参数结果问题依然存在因为根因根本不在模型而在节点缺失或依赖冲突。9. 最佳实践、工程建议与合规边界工作流能不能从“自己用”升级成“团队用”取决于你有没有做好工程化。这里给出几条可以直接落地的建议。第一每个项目一个目录目录内部固定结构。比如project/scenes/scene_01/keyframes、project/output/clips这样即使隔了一个月回头处理也能快速找到素材。第二工作流 JSON 配置文件一定要纳入版本管理。ComfyUI 界面拉出的节点图很难在团队里逐字对比但 JSON 文件可以。每次改动工作流时提交一次记录备注里写下“改了什么、为什么改”这能帮你极大减少重复试错。第三批量生成时先低分辨率跑草稿确认构图和动态没问题后再用高分辨率做最终成片。不要一开始就追求 1080p那会让中配显卡直接进入 OOM 状态而且浪费大量时间。第四固定 Seed。当你确定一个镜头的整体方向后锁定 Seed再小幅调整提示词。如果你每次生成都在换 Seed等于每次都在抽新卡根本无法判断是哪个参数发挥了作用。关于内容安全这里必须多说几句。AI 视频生成工具本身是创作工具但不意味着什么内容都适合生成和发布。不要用这类工具生成违法违规内容也不要使用真实人物的肖像和受版权保护的素材去生成商业内容。发布前确认平台的内容规则尤其是涉及人脸、品牌、音乐等元素时更要多一道授权审核。技术能力越强越应该保持必要的内容边界。10. 总结与下一步学习方向到这里你应该已经理解 Google Flow 这类产品真正想解决的问题也掌握了一条从草图到电影级 AI 视频的完整工作流草图定构图参考图定角色ControlNet 和 IPAdapter 生成关键帧图生视频生成动态FFmpeg 完成后期。这套方法不依赖某个特定版本的软件也不会因为工具更新而过时。下一步我建议你先不要急着做完整大片而是找一个最简单的镜头从画一张草稿开始把 6.1 到 6.4 的示例完整跑通。跑通之后再尝试加转场、加音乐、加多镜头串联逐步把流程模板化。你会发现真正难得的不是一个“更强的模型”而是一套你能反复使用、出了问题知道去哪修的流程。如果你想继续深入可以重点关注三个方向ControlNet 不同预处理器对构图的影响、IPAdapter 在不同风格模型下的权重调节、以及图生视频节点里运动幅度和帧数的配合关系。这些内容都属于工作流调参的深水区也是做出稳定成片的关键。把示例跑透再回来读你会更有收获。