Matrix-3D Step 1教程如何用FLUX LoRA与MoGe实现高质量图生全景图【免费下载链接】Matrix-3DGenerate large-scale explorable 3D scenes with high-quality panorama videos from a single image or text prompt.项目地址: https://gitcode.com/gh_mirrors/mat/Matrix-3DMatrix-3D是一个从单张图片或文本生成大规模可探索 3D 场景的开源项目而Step 1图生全景图i2p, image-to-panorama正是整条流水线的起点。本文将带你完整走通这一步使用FLUX LoRA全景生成模型与MoGe单目深度估计把一张普通的透视图扩展成一张 360° 全景图为后续生成全景视频和 3D 场景打好基础。 Step 1 在 Matrix-3D 流水线中的位置Matrix-3D 的完整流程分为三步Step 1文本/图片 → 全景图本文重点核心脚本为code/panoramic_image_generation.pyStep 2全景图 → 全景视频code/panoramic_image_to_video.pyStep 3全景视频 → 3D 场景code/panoramic_video_to_3DScene.pyStep 1 支持两种模式模式参数输入说明文生全景--modet2p文本提示词用 FLUX.1-dev 全景 LoRA 直接生成全景图图生全景--modei2p一张普通照片先估计视场角再用 FLUX Fill 补全其余 360° 区域下面以输入图为例看看我们喂给模型的素材图 1Matrix-3D 图生全景的输入照片示例来自data/image1.jpg而经过后续步骤后这张图最终会变成可以 360° 环视的全景世界图 2Matrix-3D 全景生成效果——输入一张图得到可环视 360° 的全景视频来自asset/i2p/效果演示 环境准备与权重一键下载最快安装步骤Linux NVIDIA GPU# 克隆仓库 git clone --recursive https://gitcode.com/gh_mirrors/mat/Matrix-3D cd Matrix-3D # 创建 conda 环境 conda create -n matrix3d python3.10 conda activate matrix3d pip install torch2.7.0 torchvision0.22.0 # 运行安装脚本自动安装 nvdiffrast、simple-knn 等依赖 chmod x install.sh ./install.sh下载模型权重运行一条命令即可拉取全部检查点MoGe、FLUX 全景 LoRA、StableSR 等python code/download_checkpoints.py下载后Step 1 相关的权重会放在以下位置权重路径用途MoGe 深度模型checkpoints/moge/model.pt估计输入图的相机内参与视场角FLUX 全景 LoRAcheckpoints/flux_lora/文生全景t2p模式WorldGen 图生全景 LoRA首次运行时自动下载worldgen_img2scene.safetensors图生全景i2p模式 显存参考全景图生成阶段约需16G 显存。i2p 模式会自动开启enable_model_cpu_offload()与 VAE 分块tiling来降低峰值占用。 MoGe 的角色自动量出输入图的视场角图生全景的第一道难题是模型不知道你的照片是用多广的镜头拍的。Matrix-3D 的解法是用 MoGe 单目深度模型反推相机内参矩阵再换算成水平/垂直视场角hFov / wFov。核心逻辑在 i2p_model.py 的calculate_FOV方法中调用MoGeModel.infer()得到内参矩阵K焦距 fx、fy 与主点用公式FOV 2 · atan(图像尺寸 / (2 × 焦距))换算出 hFov 和 wFov将透视图按视场角贴到等距圆柱全景Equirectangular上图 3参与 Matrix-3D 全景生成的图片素材来自asset/i2p/i2p_1.png如果你已经知道自己的镜头参数也可以通过--fov手动指定跳过 MoGe 估计。 FLUX LoRA 的角色智能补全 360° 全景估计好视场角后真正的魔法由FLUX Fill 全景 LoRA完成流程如下实现位于code/pano_init/src/worldgen/worldgen.py与code/pano_init/src/worldgen/pano_gen.py投影贴图i2p_init把输入照片按 MoGe 给出的视场角重投影到一张 512×1024 的全景画布上并生成待补全区域 mask提示词准备若你没有提供--prompt项目内置的 VideoLLaMA3 视觉大模型code/pano_init/prompt/prompt.py会自动为图片生成一段高质量英文描述全景补全生成调用 FLUX.1-Fill-dev 管线gen_pano_fill_image自动附加全景增强前后缀——A high quality 360 panorama photo of ... HDR, RAW, 360 consistent, omnidirectional以guidance_scale30、50 步去噪把 mask 覆盖的其余 360° 区域补全边缘融合补全后的全景图左右边缘会做渐变混合避免出现接缝图 4Matrix-3D 全景图后续生成的全景视频漫游效果来自asset/i2p/演示素材 一键运行图生全景完整命令确认环境就绪后一条命令即可完成 Step 1python code/panoramic_image_generation.py \ --modei2p \ --input_image_path./data/image1.jpg \ --output_path./output/example1常用参数速查定义于code/panoramic_image_generation.py参数默认值说明--modet2pi2p图生全景 /t2p文生全景--input_image_path-输入图片路径i2p 模式必填--prompt自动提取手动指定提示词覆盖 VLM 自动提取--fovMoGe 估计手动指定视场角度--seed380随机种子固定后可复现结果--output_path-输出目录运行结束后output/example1目录中会生成两个文件这正是 Step 2 的输入./output/example1 ├─ pano_img.jpg # 360° 全景图 └─ prompt.txt # 对应的文本描述如果你手头已有其他工具例如 HunyuanWorld生成的全景图也可以按上述目录结构自行组织pano_img.jpg与prompt.txt直接跳到 Step 2。 新手常见问题与调参技巧结果和输入图风格不一致手动传入--prompt用更贴合原图的描述引导补全或换一个--seed多次尝试透视关系不对、边缘有畸变尝试用--fov覆盖 MoGe 的估计值向 60°~110° 区间微调显存不够i2p 模式已默认启用 CPU offload 与 VAE tiling若仍吃紧可优先使用显存需求更低的 5B 视频模型跑后续步骤想复现实验固定--seed参数即可得到可重复的全景图✅ 小结与下一步本文带你走通了 Matrix-3D 的 Step 1借助MoGe估计输入图像的视场角再用FLUX LoRAFLUX Fill 全景 LoRA把一张透视图补全为高质量 360° 全景图输出pano_img.jpg与prompt.txt。接下来进入Step 2运行code/panoramic_image_to_video.py用全景图生成动态全景视频最终再提取出可自由探索的 3D 场景。你也可以通过python code/app_matrix3d.py --max_gpus1启动 Gradio 演示界面在网页中一键体验完整流程。【免费下载链接】Matrix-3DGenerate large-scale explorable 3D scenes with high-quality panorama videos from a single image or text prompt.项目地址: https://gitcode.com/gh_mirrors/mat/Matrix-3D创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Matrix-3D Step 1教程：如何用FLUX LoRA与MoGe实现高质量图生全景图
Matrix-3D Step 1教程如何用FLUX LoRA与MoGe实现高质量图生全景图【免费下载链接】Matrix-3DGenerate large-scale explorable 3D scenes with high-quality panorama videos from a single image or text prompt.项目地址: https://gitcode.com/gh_mirrors/mat/Matrix-3DMatrix-3D是一个从单张图片或文本生成大规模可探索 3D 场景的开源项目而Step 1图生全景图i2p, image-to-panorama正是整条流水线的起点。本文将带你完整走通这一步使用FLUX LoRA全景生成模型与MoGe单目深度估计把一张普通的透视图扩展成一张 360° 全景图为后续生成全景视频和 3D 场景打好基础。 Step 1 在 Matrix-3D 流水线中的位置Matrix-3D 的完整流程分为三步Step 1文本/图片 → 全景图本文重点核心脚本为code/panoramic_image_generation.pyStep 2全景图 → 全景视频code/panoramic_image_to_video.pyStep 3全景视频 → 3D 场景code/panoramic_video_to_3DScene.pyStep 1 支持两种模式模式参数输入说明文生全景--modet2p文本提示词用 FLUX.1-dev 全景 LoRA 直接生成全景图图生全景--modei2p一张普通照片先估计视场角再用 FLUX Fill 补全其余 360° 区域下面以输入图为例看看我们喂给模型的素材图 1Matrix-3D 图生全景的输入照片示例来自data/image1.jpg而经过后续步骤后这张图最终会变成可以 360° 环视的全景世界图 2Matrix-3D 全景生成效果——输入一张图得到可环视 360° 的全景视频来自asset/i2p/效果演示 环境准备与权重一键下载最快安装步骤Linux NVIDIA GPU# 克隆仓库 git clone --recursive https://gitcode.com/gh_mirrors/mat/Matrix-3D cd Matrix-3D # 创建 conda 环境 conda create -n matrix3d python3.10 conda activate matrix3d pip install torch2.7.0 torchvision0.22.0 # 运行安装脚本自动安装 nvdiffrast、simple-knn 等依赖 chmod x install.sh ./install.sh下载模型权重运行一条命令即可拉取全部检查点MoGe、FLUX 全景 LoRA、StableSR 等python code/download_checkpoints.py下载后Step 1 相关的权重会放在以下位置权重路径用途MoGe 深度模型checkpoints/moge/model.pt估计输入图的相机内参与视场角FLUX 全景 LoRAcheckpoints/flux_lora/文生全景t2p模式WorldGen 图生全景 LoRA首次运行时自动下载worldgen_img2scene.safetensors图生全景i2p模式 显存参考全景图生成阶段约需16G 显存。i2p 模式会自动开启enable_model_cpu_offload()与 VAE 分块tiling来降低峰值占用。 MoGe 的角色自动量出输入图的视场角图生全景的第一道难题是模型不知道你的照片是用多广的镜头拍的。Matrix-3D 的解法是用 MoGe 单目深度模型反推相机内参矩阵再换算成水平/垂直视场角hFov / wFov。核心逻辑在 i2p_model.py 的calculate_FOV方法中调用MoGeModel.infer()得到内参矩阵K焦距 fx、fy 与主点用公式FOV 2 · atan(图像尺寸 / (2 × 焦距))换算出 hFov 和 wFov将透视图按视场角贴到等距圆柱全景Equirectangular上图 3参与 Matrix-3D 全景生成的图片素材来自asset/i2p/i2p_1.png如果你已经知道自己的镜头参数也可以通过--fov手动指定跳过 MoGe 估计。 FLUX LoRA 的角色智能补全 360° 全景估计好视场角后真正的魔法由FLUX Fill 全景 LoRA完成流程如下实现位于code/pano_init/src/worldgen/worldgen.py与code/pano_init/src/worldgen/pano_gen.py投影贴图i2p_init把输入照片按 MoGe 给出的视场角重投影到一张 512×1024 的全景画布上并生成待补全区域 mask提示词准备若你没有提供--prompt项目内置的 VideoLLaMA3 视觉大模型code/pano_init/prompt/prompt.py会自动为图片生成一段高质量英文描述全景补全生成调用 FLUX.1-Fill-dev 管线gen_pano_fill_image自动附加全景增强前后缀——A high quality 360 panorama photo of ... HDR, RAW, 360 consistent, omnidirectional以guidance_scale30、50 步去噪把 mask 覆盖的其余 360° 区域补全边缘融合补全后的全景图左右边缘会做渐变混合避免出现接缝图 4Matrix-3D 全景图后续生成的全景视频漫游效果来自asset/i2p/演示素材 一键运行图生全景完整命令确认环境就绪后一条命令即可完成 Step 1python code/panoramic_image_generation.py \ --modei2p \ --input_image_path./data/image1.jpg \ --output_path./output/example1常用参数速查定义于code/panoramic_image_generation.py参数默认值说明--modet2pi2p图生全景 /t2p文生全景--input_image_path-输入图片路径i2p 模式必填--prompt自动提取手动指定提示词覆盖 VLM 自动提取--fovMoGe 估计手动指定视场角度--seed380随机种子固定后可复现结果--output_path-输出目录运行结束后output/example1目录中会生成两个文件这正是 Step 2 的输入./output/example1 ├─ pano_img.jpg # 360° 全景图 └─ prompt.txt # 对应的文本描述如果你手头已有其他工具例如 HunyuanWorld生成的全景图也可以按上述目录结构自行组织pano_img.jpg与prompt.txt直接跳到 Step 2。 新手常见问题与调参技巧结果和输入图风格不一致手动传入--prompt用更贴合原图的描述引导补全或换一个--seed多次尝试透视关系不对、边缘有畸变尝试用--fov覆盖 MoGe 的估计值向 60°~110° 区间微调显存不够i2p 模式已默认启用 CPU offload 与 VAE tiling若仍吃紧可优先使用显存需求更低的 5B 视频模型跑后续步骤想复现实验固定--seed参数即可得到可重复的全景图✅ 小结与下一步本文带你走通了 Matrix-3D 的 Step 1借助MoGe估计输入图像的视场角再用FLUX LoRAFLUX Fill 全景 LoRA把一张透视图补全为高质量 360° 全景图输出pano_img.jpg与prompt.txt。接下来进入Step 2运行code/panoramic_image_to_video.py用全景图生成动态全景视频最终再提取出可自由探索的 3D 场景。你也可以通过python code/app_matrix3d.py --max_gpus1启动 Gradio 演示界面在网页中一键体验完整流程。【免费下载链接】Matrix-3DGenerate large-scale explorable 3D scenes with high-quality panorama videos from a single image or text prompt.项目地址: https://gitcode.com/gh_mirrors/mat/Matrix-3D创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考