Wan2.2开源视频生成模型家族 (5B/14B) 支持文本/图像/视频到视频生成，提升1080p片段的运动表现和控制能力。

Wan2.2 是一个开源的视频生成模型家族，包含 5B 和 14B 两个版本，支持文本/图像/视频到视频的生成。它可以生成具有改进的运动和控制的 1080p 视频片段。该模型采用了 Mixture-of-Experts（MoE）架构、电影级美学和复杂的运动生成。 Wan2.2 的架构基于视频扩散模型（video diffusion model），采用MoE架构在不同时间步骤中分离去噪过程。这样可以在保持相同计算成本的同时，增加整体模型的容量。 Wan2.2 相比其前身 Wan2.1，训练数据集大幅扩展，图像数量增加 65.6%，视频数量增加 83.2%。这一扩展增强了模型在多个维度上的泛化能力，包括运动、语义和美学等方面。 该模型支持720P分辨率、24帧每秒的文本转视频和图像转视频生成，并且可以在4090等消费级显卡上运行。它是目前可用的最快的720P@24fps模型之一，能够同时服务于工业和学术领域。 Wan2.2 已被集成到多个框架中，包括 Diffusers、ComfyUI 和 ModelScope，并已用于各种应用，如角色动画、替换和音频驱动的电影视频生成。 Wan2.2 还被用于创建字符动画和替换的统一模型，具有整体运动和表情复制功能，以及音频驱动的电影视频生成模型，包含推理代码、模型权重和技术报告。 该模型还被用于创建一个 5B 模型，该模型使用 Wan2.2-VAE 构建，实现了 16 16 4 的压缩比，支持 720P 分辨率、24fps 的文本转视频和图像转视频生成。 Wan2.2 模型已在开源许可下发布并获得了广泛关注，其 GitHub 仓库已有超过 50 次提交，并拥有庞大的贡献者和用户社区。 Wan2.2 是一个强大的视频生成模型，为角色动画、替换和音频驱动的电影视频生成等各种应用提供最先进的性能和多功能性。其架构和训练数据集使其成为视频生成和处理领域的研究人员和开发人员的宝贵资源。 该模型适用于各种应用场景，包括角色动画、替换和音频驱动的电影视频生成。 然而，与任何机器学习模型一样，Wan2.2 也存在一些局限性。例如，它需要大量的计算资源和训练数据才能达到其性能，并且可能不适用于所有类型的视频生成任务。 此外，虽然 Wan2.2 已被集成到多个框架中，但其性能和多功能性可能会因具体用例和应用而异。 总体而言，Wan2.2 是一个强大且多功能的视频生成模型，为各种应用提供了最先进的性能。它的架构和训练数据集使其成为视频生成和处理领域的研究人员和开发人员的宝贵资源。