ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

3 步把一段舞蹈复刻到任何人身上:ComfyUI AI 动作迁移实操

3 步把一段舞蹈复刻到任何人身上:ComfyUI AI 动作迁移实操 3 步把一段舞蹈复刻到任何人身上ComfyUI AI 动作迁移实操【免费下载链接】ComfyUI-MimicMotionWrapper项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-MimicMotionWrapperComfyUI-MimicMotionWrapper 是一个基于腾讯 MimicMotion 技术的 ComfyUI 插件用一张人物照片 一段参考动作视频就能生成这个人做出同样动作的新视频也就是 AI 动作迁移。它适合想把视频里人快速换掉、又不想搭动捕设备的视频创作者。示例参考人物图AI 动作迁移时作为目标人物的静态照片项目自带素材 看懂一次动作迁移的输入、处理和输出准备两张输入素材动作迁移的输入只有两样目标人物的静态照片决定视频里长什么样和一段源动作视频决定模仿什么动作。两者分辨率保持一致即可。逐帧提取骨骼并按新人物重新排版插件先对源视频逐帧跑姿态检测把每帧抽成全身骨骼就像给视频逐帧画了骨骼线。随后按目标人物的体型比例自动缩放这套骨骼再交给扩散网络合成画面。检测逻辑在 mimicmotion/dwpose/网络结构在 mimicmotion/modules/。解码输出新视频合成结果先是一串潜变量经 VAE 解码后最终得到照片里的人跳着源视频那段舞的成片。⚙️ 安装 ComfyUI 动作迁移插件并跑通第一个案例把仓库克隆到 ComfyUI 的custom_nodes目录并装依赖git clone https://gitcode.com/gh_mirrors/co/ComfyUI-MimicMotionWrapper cd ComfyUI-MimicMotionWrapper pip install -r requirements.txt首次运行会自动下载模型MimicMotion 主模型约 3 GB、SVD XT 底模约 4.2 GB姿态检测模型也会自动拉取放进models对应目录无需手动处理。在 ComfyUI 界面加载示例工作流 examples/mimic_motion_example_02.json。把工作流里的 LoadImage 换成你的目标人物照片VHS_LoadVideo 换成源动作视频确认两者分辨率一致。点击运行队列节点链路是 GetPoses → Sampler → Decode → VHS_VideoCombine会同时输出姿态骨架预览和最终迁移结果两段视频。️ 根据画面现象调整动作迁移参数调整 pose_strength 改善动作僵硬当人物动作跟不上源视频时把pose_strength从默认 1.0 提到 1.21.5如果动作过猛导致身体变形僵硬就降回 0.60.8。这个值控制源姿态对生成画面的约束力。切换调度器减少画面闪烁和抖动画面闪烁时把 Diffusers Scheduler 节点从 AnimateLCM_SVD 切回 EulerDiscreteScheduler并把 steps 提到 3040。LCM 出图快但低步数下容易闪Euler 稍慢但更稳显存紧张时再考虑换回 LCM。用起止百分比只迁移局部动作用pose_start_percent和pose_end_percent截取源视频区间比如 start 设为 0.5前半段自由生成只迁移后半段的动作适合源视频前段有人物走动等杂镜头的情况。以上区间都是参考值根据素材不同需微调。 动作迁移能用在哪些地方给短视频做换人翻跳自媒体创作者拿热门舞蹈视频换成自己的形象或签约模特的照片批量产出同一支舞、不同人的系列内容不用真人重新跳一遍。为虚拟偶像批量生成统一舞蹈游戏和虚拟角色团队用同一段动作视频配多个角色立绘快速让一群角色跳出整齐划一的群舞省去为每个角色单独制作动画的工序。教学视频里换讲师演示同一套动作健身或舞蹈老师把标准示范视频里的示范者换成不同讲师形象一套动作素材就能复用到多门课保证教学动作的一致性。⚠️ 踩坑与下一步显存爆掉降低输出分辨率、把context_size调小或关掉其他占显存的程序Sampler 里keep_model_loaded设为 false 可跑完即卸载模型。结果闪烁调度器换回 EulerDiscrete 并提高 steps低步数的 LCM 最容易闪。人物穿模、四肢扭曲旋转、跳跃类大动作本身难迁移换一段动作更慢的源视频或调低pose_strength。检测失败源视频每帧尽量只有一个人物且参考照片与视频分辨率必须一致。目前方法只支持单人动作迁移长视频建议分段处理后再剪辑拼接。更多用法问题可以直接到项目的 issue 区提问。【免费下载链接】ComfyUI-MimicMotionWrapper项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-MimicMotionWrapper创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表