Stability AI generative-models 上手指南5分钟跑通图生视频、3D环绕与4D生成【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-models这是 Stability AI 官方开源的 generative-models 代码库包名sgm一个仓库装下四条生成路线SDXL 文生图、SVD 图生视频、SV3D 单图 3D 环绕、SV4D 2.0 视频转 4D。核心设计是配置驱动模型、网络、loss、采样器全部由 YAML 声明instantiate_from_config负责拼装你可以原样用官方推理脚本也可以只改配置去训练自己的模型。下面带你 5 分钟跑通第一条视频。 一个仓库解决什么问题很多开源扩散模型仓库是训练代码 权重的散装组合想换个采样器或注意力类型得翻好几个文件。这个仓库的做法是每个组件在 YAML 里只写target类路径和params参数运行时按需实例化。比如 configs/inference/sv3d_u.yaml 里网络声明为sgm.modules.diffusionmodules.video_model.VideoUNet条件注入声明为GeneralConditioner采样器独立于模型。你想做消融实验改的是配置文件不是代码。三步装好环境并完成首次采样先 clone 仓库再依次建环境、装依赖、拉权重、跑推理一条命令序列走完# 1. 克隆仓库并进入目录 git clone https://gitcode.com/GitHub_Trending/ge/generative-models cd generative-models # 2. 建虚拟环境安装 CUDA 11.8 版 PyTorch 和项目依赖最后把 sgm 装成包 python3.10 -m venv .generativemodels source .generativemodels/bin/activate pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip3 install -r requirements/pt2.txt pip3 install . # 3. 下载 SV3D_u 权重必须放到 checkpoints/ 目录 huggingface-cli download stabilityai/sv3d sv3d_u.safetensors --local-dir checkpoints # 4. 用仓库自带示例图生成 21 帧 576x576 环绕视频 python scripts/sampling/simple_video_sample.py --input_path assets/test_image.png --version sv3d_u输入就是这张白底单物体图符合模型训练时的分布偏好跑完后视频落在outputs/simple_video_sample/sv3d_u/下--version换成svd、sv3d_p等即可切换路线对应权重需提前放进checkpoints/。四条推理路线怎么选路线输入输出推理入口模型配置SVD / SVD-XT单张图片14 / 25 帧平移视频simple_video_sample.pysvd.yamlSV3D_u / SV3D_p单张图片21 帧 360° 环绕视频同上sv3d_u.yaml / sv3d_p.yamlSV4D 2.021 帧短视频48 帧多视角 4D 视频自回归生成simple_video_sample_4d2.pysv4d2.yamlSDXL base / refiner文本1024×1024 图片sampling.pyStreamlitsd_xl_base.yaml四条路线共用同一套sgm模块区别只在 YAML。SV3D_p 比 SV3D_u 多一个相机控制权elevations_deg传单个数值即固定仰角环绕传 21 个元素的列表则逐帧指定仰角配合azimuths_deg可任意设计运镜路径。4D 路线的输入可以是 gif、mp4或一帧帧图片文件夹# 用仓库自带的骆驼走动 gif 跑 SV4D 2.0权重同样放 checkpoints/ python scripts/sampling/simple_video_sample_4d2.py --input_path assets/sv4d_videos/camel.gif --output_folder outputs兼顾质量与速度的三个旋钮num_steps采样步数。SV3D 与 SV4D 2.0 默认 50 步降到 20 左右速度接近翻倍细节略损适合先预览构图。decoding_t/encoding_t一次解码/编码的帧数。视频模型显存的大头在解码阶段显存吃紧时各设为 1 即可这是官方给出的低显存方案。img_size输出分辨率。默认 576降到 512 能进一步省显存。另外seed固定后可复现同一结果跨实验对比时记得统一它。生成效果一览下面是各路线的代表性输出直接来自仓库 assetsSVD 的图生视频一张静图延伸为带位移和景深的短视频。SV3D 环绕输出同一张图生成 360° 连续视角。SV4D 2.0输入一段走动视频输出多相机视角下保持时序一致的新视角画面。SDXL Turbo一步生成的文生图速度快到可以批量出图挑种子。容易卡住的三个问题提示找不到权重文件推理脚本只负责按配置组装模型不会自动下载。确认对应.safetensors已位于checkpoints/路径错了直接报缺文件。显存不够 OOM按顺序降--decoding_t14D 路线加--encoding_t1→--img_size512→--num_steps 20。视频模型的解码阶段占显存最多先动decoding_t。安装就报依赖冲突仓库是在 python3.10 PyTorch 2.0cu118下验证的。其他 Python 版本装requirements/pt2.txt时容易撞版本建议直接用 3.10 建环境。这份代码适合谁来用内容制作商品图批量出环绕展示视频电商详情页直接可用。研究者guidersguiders.py、采样器sampling.py、denoiser 彼此解耦做对照实验只需换配置。想自己训练的人configs/example_training/toy/ 里的 MNIST、CIFAR-10 配置开箱即跑先小数据集验证流程再上真实数据。工程集成方sgm/inference/api.py 暴露了SamplingParams数据类和采样接口方便包进自己的服务里。接下来可以做的三件事起一个可交互的界面边调参数边看效果# 图生视频/3D 的 Streamlit 演示 streamlit run scripts/demo/video_sampling.py用玩具配置完整跑一次训练熟悉main.py的多配置合并机制后面的配置会覆盖前面的同名参数python main.py --base configs/example_training/toy/mnist_cond.yaml读源码补原理从 sgm/modules/diffusionmodules/video_model.py 的VideoUNet入手再看 sgm/modules/spacetime_attention.py 里时空注意力如何拆分。训练产物统一落在logs/日期_配置名/下的checkpoints/、configs/、images/推理产物在outputs/对应子目录直接拷走就能用。【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-models创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Stability AI generative-models 上手指南：5分钟跑通图生视频、3D环绕与4D生成
Stability AI generative-models 上手指南5分钟跑通图生视频、3D环绕与4D生成【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-models这是 Stability AI 官方开源的 generative-models 代码库包名sgm一个仓库装下四条生成路线SDXL 文生图、SVD 图生视频、SV3D 单图 3D 环绕、SV4D 2.0 视频转 4D。核心设计是配置驱动模型、网络、loss、采样器全部由 YAML 声明instantiate_from_config负责拼装你可以原样用官方推理脚本也可以只改配置去训练自己的模型。下面带你 5 分钟跑通第一条视频。 一个仓库解决什么问题很多开源扩散模型仓库是训练代码 权重的散装组合想换个采样器或注意力类型得翻好几个文件。这个仓库的做法是每个组件在 YAML 里只写target类路径和params参数运行时按需实例化。比如 configs/inference/sv3d_u.yaml 里网络声明为sgm.modules.diffusionmodules.video_model.VideoUNet条件注入声明为GeneralConditioner采样器独立于模型。你想做消融实验改的是配置文件不是代码。三步装好环境并完成首次采样先 clone 仓库再依次建环境、装依赖、拉权重、跑推理一条命令序列走完# 1. 克隆仓库并进入目录 git clone https://gitcode.com/GitHub_Trending/ge/generative-models cd generative-models # 2. 建虚拟环境安装 CUDA 11.8 版 PyTorch 和项目依赖最后把 sgm 装成包 python3.10 -m venv .generativemodels source .generativemodels/bin/activate pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip3 install -r requirements/pt2.txt pip3 install . # 3. 下载 SV3D_u 权重必须放到 checkpoints/ 目录 huggingface-cli download stabilityai/sv3d sv3d_u.safetensors --local-dir checkpoints # 4. 用仓库自带示例图生成 21 帧 576x576 环绕视频 python scripts/sampling/simple_video_sample.py --input_path assets/test_image.png --version sv3d_u输入就是这张白底单物体图符合模型训练时的分布偏好跑完后视频落在outputs/simple_video_sample/sv3d_u/下--version换成svd、sv3d_p等即可切换路线对应权重需提前放进checkpoints/。四条推理路线怎么选路线输入输出推理入口模型配置SVD / SVD-XT单张图片14 / 25 帧平移视频simple_video_sample.pysvd.yamlSV3D_u / SV3D_p单张图片21 帧 360° 环绕视频同上sv3d_u.yaml / sv3d_p.yamlSV4D 2.021 帧短视频48 帧多视角 4D 视频自回归生成simple_video_sample_4d2.pysv4d2.yamlSDXL base / refiner文本1024×1024 图片sampling.pyStreamlitsd_xl_base.yaml四条路线共用同一套sgm模块区别只在 YAML。SV3D_p 比 SV3D_u 多一个相机控制权elevations_deg传单个数值即固定仰角环绕传 21 个元素的列表则逐帧指定仰角配合azimuths_deg可任意设计运镜路径。4D 路线的输入可以是 gif、mp4或一帧帧图片文件夹# 用仓库自带的骆驼走动 gif 跑 SV4D 2.0权重同样放 checkpoints/ python scripts/sampling/simple_video_sample_4d2.py --input_path assets/sv4d_videos/camel.gif --output_folder outputs兼顾质量与速度的三个旋钮num_steps采样步数。SV3D 与 SV4D 2.0 默认 50 步降到 20 左右速度接近翻倍细节略损适合先预览构图。decoding_t/encoding_t一次解码/编码的帧数。视频模型显存的大头在解码阶段显存吃紧时各设为 1 即可这是官方给出的低显存方案。img_size输出分辨率。默认 576降到 512 能进一步省显存。另外seed固定后可复现同一结果跨实验对比时记得统一它。生成效果一览下面是各路线的代表性输出直接来自仓库 assetsSVD 的图生视频一张静图延伸为带位移和景深的短视频。SV3D 环绕输出同一张图生成 360° 连续视角。SV4D 2.0输入一段走动视频输出多相机视角下保持时序一致的新视角画面。SDXL Turbo一步生成的文生图速度快到可以批量出图挑种子。容易卡住的三个问题提示找不到权重文件推理脚本只负责按配置组装模型不会自动下载。确认对应.safetensors已位于checkpoints/路径错了直接报缺文件。显存不够 OOM按顺序降--decoding_t14D 路线加--encoding_t1→--img_size512→--num_steps 20。视频模型的解码阶段占显存最多先动decoding_t。安装就报依赖冲突仓库是在 python3.10 PyTorch 2.0cu118下验证的。其他 Python 版本装requirements/pt2.txt时容易撞版本建议直接用 3.10 建环境。这份代码适合谁来用内容制作商品图批量出环绕展示视频电商详情页直接可用。研究者guidersguiders.py、采样器sampling.py、denoiser 彼此解耦做对照实验只需换配置。想自己训练的人configs/example_training/toy/ 里的 MNIST、CIFAR-10 配置开箱即跑先小数据集验证流程再上真实数据。工程集成方sgm/inference/api.py 暴露了SamplingParams数据类和采样接口方便包进自己的服务里。接下来可以做的三件事起一个可交互的界面边调参数边看效果# 图生视频/3D 的 Streamlit 演示 streamlit run scripts/demo/video_sampling.py用玩具配置完整跑一次训练熟悉main.py的多配置合并机制后面的配置会覆盖前面的同名参数python main.py --base configs/example_training/toy/mnist_cond.yaml读源码补原理从 sgm/modules/diffusionmodules/video_model.py 的VideoUNet入手再看 sgm/modules/spacetime_attention.py 里时空注意力如何拆分。训练产物统一落在logs/日期_配置名/下的checkpoints/、configs/、images/推理产物在outputs/对应子目录直接拷走就能用。【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-models创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考