Wan2.2Création de contenu vidéo à partir de prompts de texte, pour les projets de marketing, de société, ou créatifs utilisant les variantes de 5B ou 14B.

Wan2.2 est une famille de modèles de génération de vidéos open source avec deux variantes, 5B et 14B, prenant en charge la génération de vidéos à partir de texte/d'image/vidéo. Il peut fournir des clips en 1080p avec un mouvement et un contrôle améliorés. Le modèle intègre une architecture Mixture-of-Experts (MoE), une esthétique de niveau cinématographique et une génération de mouvements complexes. L'architecture de Wan2.2 est basée sur un modèle de diffusion vidéo, avec l'architecture MoE séparant le processus de débruitage à travers les étapes de temps. Cela lui permet de maintenir le même coût de calcul tout en augmentant la capacité globale du modèle. Wan2.2 a été entraîné sur un jeu de données considérablement plus vaste que son prédécesseur, Wan2.1, avec +65,6% d'images et +83,2% de vidéos en plus. Cette expansion améliore la généralisation du modèle sur plusieurs dimensions, notamment les mouvements, la sémantique et l'esthétique. Le modèle prend en charge la génération de texte-à-vidéo et d'image-à-vidéo en résolution 720P avec 24fps, et peut fonctionner sur des cartes graphiques de niveau grand public comme la 4090. C'est l'un des modèles 720P@24fps les plus rapides actuellement disponibles, capable de desservir à la fois les secteurs industriel et académique. Wan2.2 a été intégré dans plusieurs cadres, notamment Diffusers, ComfyUI et ModelScope, et a été utilisé pour diverses applications, telles que l'animation de personnages, le remplacement et la génération de vidéos cinématiques entraînées par l'audio. Wan2.2 a également été utilisé pour créer un modèle unifié pour l'animation et le remplacement de personnages avec une réplication holistique des mouvements et des expressions, ainsi qu'un modèle de génération de vidéos cinématiques entraîné par l'audio, incluant le code d'inférence, les poids du modèle et le rapport technique. Le modèle a également été utilisé pour créer un modèle de 5 milliards construit avec le Wan2.2-VAE qui atteint un taux de compression de 16 16 4, prenant en charge la génération de texte vers vidéo et d'image vers vidéo à une résolution de 720P à 24fps. Le modèle a été publié sous une licence open-source et a gagné en popularité, avec plus de 50 commits sur son dépôt GitHub et une large communauté de contributeurs et d'utilisateurs. Wan2.2 est un modèle de génération de vidéo puissant qui offre des performances à l'état de l'art et une grande polyvalence pour diverses applications, notamment l'animation de personnages, le remplacement et la génération de vidéos cinématiques pilotées par l'audio. Son architecture et son jeu de données d'entraînement en font une ressource précieuse pour les chercheurs et les développeurs travaillant dans le domaine de la génération et du traitement de vidéos. Le modèle est adapté à diverses applications, notamment l'animation de personnages, le remplacement et la génération de vidéos cinématiques pilotées par l'audio. Cependant, comme tout modèle d'apprentissage automatique, Wan2.2 présente certaines limites. Par exemple, il nécessite une quantité importante de ressources de calcul et de données d'entraînement pour atteindre ses performances, et il peut ne pas convenir à tous les types de tâches de génération de vidéos. De plus, bien que Wan2.2 ait été intégré dans plusieurs frameworks, ses performances et sa polyvalence peuvent varier en fonction du cas d'utilisation et de l'application spécifiques. Dans l'ensemble, Wan2.2 est un modèle de génération vidéo puissant et polyvalent qui offre des performances à l'état de l'art pour diverses applications. Son architecture et son jeu de données d'entraînement en font une ressource précieuse pour les chercheurs et les développeurs travaillant dans le domaine de la génération et du traitement vidéo.