AI video face-swapping implementation methods.md

AI视频换脸实现方式

背景

应运营业务需求，需调研视频换脸技术，了解不同视频换脸技术的优缺点，以及如何选择合适的技术方案。通过对现在市面上大模型的调研，发现Wan2.2-Animate模型是目前最优秀的视频换脸模型。基于此模型进行多种视频换脸实现方式的探索。

实现方式

Huggigng Face的Wan2.2-Animate模型运行空间：

优点：可以体验模型最直接的效果。

缺点：需翻墙，生成视频时间长，对于上传的图片有敏感性限制，如Donald John Trump上传的图片会报错，生成的视频里对于人除外的场景会出现瑕疵，如马赛克。
ModelScope的Wan2.2-Animate模型运行空间：

优点：可以体验模型最直接的效果，不需翻墙。

缺点：生成视频时间长，对于上传的图片有敏感性限制，如Donald John Trump上传的图片会报错，生成的视频里对于人除外的场景会出现瑕疵，如马赛克。
Wan产品平台：

优点：可以体验模型产品化的效果。

缺点：生成视频需排队等待，对于上传的图片有敏感性限制，如Donald John Trump上传的图片会报错，生成的视频里对于人除外的场景会出现瑕疵，如马赛克。
ComfyUI产品在线平台：

如果Background Masking节点生成的背景遮罩不合适，可以手动调整，绿色圈代表人物，红色圈代表背景。

优点：可自定义调整人物背景遮罩，生成视频时间短（5秒视频4分钟以内生成），质量高，上传的图片没有限制。

缺点：生成视频需排队等待。
ComfyUI本地部署平台

部署成功后，可参考零基础教程】如何运行别人的ComfyUI工作流导入wanvideo_WanAnimate_角色替换工作流，主要是进行Install Missing Custom Nodes操作，安装缺失的自定义节点还有下载安装模型，模型与文件放置如下：
- Diffusion模型放入ComfyUI/models/diffusion_models/，此工作流使用的模型为Kijai/WanVideo_comfy_fp8_scaled
- 文本编码器（如umt5_xxl…）：放入ComfyUI/models/text_encoders/，此工作流使用的模型为umt5-xxl-enc-bf16.safetensors
- VAE：放入ComfyUI/models/vae/，此工作流使用的模型为Wan2_1_VAE_bf16.safetensors
- LORA：放入ComfyUI/models/loras/，此工作流使用的模型为Lightx2v/lightx2v_I2V_14B_480p_cfg_step_distill_rank128_bf16.safetensors，还有LoRAs/Wan22_relight/WanAnimate_relight_lora_fp16.safetensors
更新完节点和模型后，重启ComfyUI服务，即可运行wanvideo_WanAnimate_角色替换工作流。