Wan2.2Família de modelos de geração de vídeo de código aberto (5B/14B) para texto/imagem/vídeo-para-vídeo, entregando clipes de 1080p com movimento e controle aprimorados.

A Wan2.2 é uma família de modelo aberto de geração de vídeo com duas variantes, 5 Bilhões e 14 Bilhões, que suporta a geração de vídeo de texto/imagens/vídeos para vídeo. Ele consegue entregar clipe em 1080p com movimento aprimorado e controle. O modelo incorpora uma arquitetura Mixture-of-Experts (MoE), estética de nível cinematográfico e geração de movimento complexo. A arquitetura do Wan2.2 é baseada em um modelo de difusão de vídeo, com a arquitetura MoE separando o processo de desoneração ao longo de timesteps. Isso permite manter o mesmo custo de computação enquanto aumenta a capacidade do modelo global. O Wan2.2 foi treinado em um conjunto de dados significativamente maior do que seu antecessor, Wan2.1, com +65,6% mais imagens e +83,2% mais vídeos. Essa expansão melhora a capacidade do modelo de generalizar em múltiplas dimensões, incluindo movimentos, semântica e estética. O modelo suporta a geração de text-to-video e image-to-video em resolução de 720P com 24fps e pode funcionar em placas gráficas de consumo, como a 4090. É um dos modelos de 720P@24fps mais rápidos disponíveis atualmente, capaz de atender tanto às setores industriais quanto acadêmicos ao mesmo tempo. O Wan2.2 foi integrado a vários frameworks, incluindo os Diffusers, ComfyUI e ModelScope, sendo utilizado em várias aplicações, tais como animação de personagens, substituição e geração de vídeo cinematográfico impulsionado por áudio. O Wan2.2 também foi usado para criar um modelo unificado para animação de caracteres e substituição com replicação de movimento e expressão holística, e um modelo de vídeo cinematográfico gerado por áudio, incluindo código de inferência, pesos do modelo e relatório técnico. O modelo também foi usado para criar um modelo de 5 bilhões de parâmetros, construído com o Wan2.2-VAE, que atinge uma razão de compressão de 16:16:4, suportando tanto geração de vídeo de texto para vídeo quanto geração de vídeo de imagem para vídeo em resolução de 720P com 24fps. O modelo foi lançado sob uma licença de código aberto e obteve popularidade, com mais de 50 commits em seu repositório do GitHub e uma grande comunidade de contribuintes e usuários. O Wan2.2 é um modelo de geração de vídeo poderoso que fornece desempenho de ponta e versatilidade para várias aplicações, incluindo animação de personagens, substituição de personagens e geração de vídeo cinematográfico impulsionado por áudio. Sua arquitetura e conjunto de dados de treinamento tornam-no uma fonte valiosa para pesquisadores e desenvolvedores trabalhando no campo de geração e processamento de vídeo. O modelo é adequado para várias aplicações, incluindo animação de personagens, substituição e geração de vídeo cinemático direcionado por áudio. No entanto, como qualquer modelo de aprendizado de máquina, Wan2.2 apresenta algumas limitações. Por exemplo, requer uma grande quantidade de recursos computacionais e dados de treinamento para alcançar sua performance, e pode não ser adequado para todos os tipos de tarefas de geração de vídeo. Além disso, embora a Wan2.2 já tenha sido integrada em várias estruturas, sua performance e versatilidade podem variar dependendo do caso de uso e da aplicação específica. No geral, o Wan2.2 é um modelo de geração de vídeo poderoso e versátil que fornece desempenho de ponta para várias aplicações. Sua arquitetura e conjunto de dados de treinamento o tornam uma ferramenta valiosa para pesquisadores e desenvolvedores que atuam no campo de geração e processamento de vídeo.