从视频生成到因果未来预测：概念区别、代表论文与开源代码学习路线

本文介绍视频生成模型、未来帧预测模型和因果自回归视频模型之间的关系，并给出代表论文、发布时间、开源代码。内容更新至：2026 年 7 月 11 日。一、问题的起点：视频生成到底在做什么？一段视频可以表示为连续图像序列：x 1 : T = ( x 1 , x 2 , … , x T ) x_{1:T} =\left( x_1,x_2,\ldots,x_T \right)x1:T​=(x1​,x2​,…,xT​)其中：x t x_txt​表示第t tt帧；T TT表示视频总帧数。视频生成模型的目标，是学习视频数据的概率分布，并从中生成新的图像序列。最一般的形式为：p θ ( x 1 : T ∣ c ) p_\theta(x_{1:T}\mid c)pθ​(x1:T​∣c)其中，c cc是生成条件。根据条件不同，视频生成可以分成多种任务。任务输入条件输出无条件视频生成无一段随机视频文本生成视频，T2V文本提示词与文本匹配的视频图像生成视频，I2V一张图片图片后续的动态视频视频编辑，V2V原始视频和编辑指令修改后的视频首尾帧生成视频第一帧和最后一帧中间的视频内容未来帧预测历史视频帧未来视频帧动作条件世界模型历史帧和动作执行动作后的未来帧因此，视频生成是一个很大的概念，未来帧预测只是其中一种条件视频生成任务。可以将它们的关系写成：因果未来预测 ⊂ 未来视频预测 ⊂ 条件视频生成 ⊂ 视频生成 \boxed{ \text{因果未来预测} \subset \text{未来视频预测} \subset \text{条件视频生成} \subset \text{视频生成} }因果未来预测⊂未来视频预测⊂条件视频生成⊂视频生成​二、主流视频生成模型是怎样工作的？现代视频生成模型通常包含三个核心部分：视频编码器或 Video VAE；视频生成主干，例如 U-Net 或 Diffusion Transformer；文本、图像、动作等条件编码器。2.1 Video VAE直接在像素空间生成视频的计算量非常大，因此通常先使用 Video VAE 将视频压缩到潜空间：z 0 = E ( x 1 : T ) z_0=E(x_{1:T})z0​=E(x1:T​)其中：E EE是视频编码器；z 0 z_0z0​是压缩后的视频 latent。生成结束后，再通过解码器恢复视频：x ^ 1 : T = D ( z ^ 0 ) \hat{x}_{1:T}=D(\hat{z}_0)x^1:T​=D(z^0​)Video VAE 通常同时压缩空间维度和时间维度。2.2 视频扩散模型视频扩散模型会向真实视频 latent 中加入噪声，然后训练模型恢复原始信息。一种简化表示为：z t = α t z 0 + σ t ϵ z_t =\alpha_t z_0 + \sigma_t\epsilonzt​=αt​z0​+σt​ϵ其中：ϵ ∼ N ( 0 , I ) \epsilon\sim\mathcal{N}(0,I)ϵ∼N(0,I)模型学习预测噪声、速度场或者干净样本，例如：L = E [ ∥ ϵ − ϵ θ ( z t , t , c ) ∥ 2 2 ] \mathcal{L} =\mathbb{E} \left[ \left\| \epsilon- \epsilon_\theta(z_t,t,c) \right\|_2^2 \right]L=E[∥ϵ−ϵθ​(zt​,t,c)∥22​]推理时，模型从随机噪声开始，经过多次去噪得到完整视频。这种模型通常联合处理整段视频：p θ ( x 1 : T ∣ c ) p_\theta(x_{1:T}\mid c)pθ​(x1:T​∣c)目标视频中的各帧可以通过双向时序注意力互相交换信息。2.3 Diffusion Transformer目前大量视频生成基础模型使用 Diffusion Transformer，也就是 DiT。将视频 latent 划分成时空 token 后，Transformer 同时建模：空间中的物体与背景；时间上的运动变化；文本和图像条件；镜头运动与场景变化。普通双向视频 DiT 的第i ii个 token 可以关注整个视频：h i = Attention ⁡ ( h 1 , h 2 , … , h N ) h_i =\operatorname{Attention} \left( h_1,h_2,\ldots,h_N \right)hi​=Attention(h1​,h2​,…,hN​)这里的N NN是整段视频的时空 token 数量。由于模型可以同时看到所有目标帧的位置，这类模型非常适合生成一段整体连贯的视频，但它不属于严格的因果自回归结构。三、视频生成模型的代表论文与代码库下面列出适合理解现代开源视频生成技术路线的代表项目。发布日期按论文在 arXiv 上的首次公开日期统计。模型首次公开时间主要意义论文代码库Video Diffusion Models2022-04-07将扩散模型系统地扩展到视频生成与视频预测论文未提供完整官方训练仓库VideoCrafter22024-01-17较早且完整的开源 T2V、I2V 潜空间扩散工具箱论文GitHubHunyuanVideo2024-12-03大规模开源视频 DiT，展示完整视频基础模型系统论文GitHubLTX-Video2024-12-30高压缩 Video VAE 和高效视频生成论文GitHubWan2.12025-03-26完整开源的 T2V、I2V 视频生成基础模型系列论文GitHubWan2.22025 年在 Wan 系列中加入扩散阶段专家模型等改进官方仓库说明GitHubVideoCrafter2 适合观察传统潜空间视频扩散框架；HunyuanVideo 和 Wan2.1 更接近现代大规模视频 DiT；LTX-Video则重点解决视频 latent 数量和推理效率问题。四、什么是未来帧预测？未来帧预测的输入不是单纯的文本或一张图片，而是一段已经观察到的历史视频：x 1 : t x_{1:t}x1:t​模型需要生成尚未观察到的未来：x t + 1 : T x_{t+1:T}xt+1:T​其概率模型为：p θ ( x t + 1 : T ∣ x 1 : t ) p_\theta \left( x_{t+1:T} \mid x_{1:t} \right)pθ​(xt+1:T​∣x1:t​)例如，输入一个小球向右移动的前十帧，模型需要预测小球之后的位置。相比普通视频生成，未来预测更加关注：物体位置