Wan2.2Famiglia di modelli di generazione video open-source (5B/14B) per la generazione di testo/immagine/video-in-video, fornendo clip 1080p con miglioramento della movimento e controllo.

Wan2.2 è una famiglia di modelli di generazione video open-source con due varianti, 5B e 14B, che supportano la generazione di video a partire da testo/immagine/video. Può fornire clip in 1080p con movimento e controllo migliorati. Il modello incorpora un'architettura Mixture-of-Experts (MoE), estetica di livello cinematografico e generazione di movimenti complessi. L'architettura di Wan2.2 si basa su un modello di diffusione video, con l'architettura MoE che separa il processo di denoising attraverso i timestep. Ciò gli consente di mantenere lo stesso costo computazionale aumentando la capacità complessiva del modello. Wan2.2 è stato addestrato su un set di dati notevolmente più ampio rispetto al suo predecessore, Wan2.1, con il 65,6% di immagini in più e l'83,2% di video in più. Questa espansione migliora la generalizzazione del modello su più dimensioni, tra cui movimenti, semantica ed estetica. Il modello supporta la generazione di video da testo e da immagine a risoluzione 720P con 24fps e può essere eseguito su schede grafiche di fascia consumer come la 4090. È uno dei modelli più veloci a 720P@24fps attualmente disponibili, in grado di servire sia il settore industriale che quello accademico contemporaneamente. Wan2.2 è stato integrato in diversi framework, tra cui Diffusers, ComfyUI e ModelScope, ed è stato utilizzato per varie applicazioni, come l'animazione di personaggi, la sostituzione e la generazione di video cinematografici basati su audio. Wan2.2 è stato utilizzato anche per creare un modello unificato per l'animazione dei personaggi e la sostituzione con replicazione olistica del movimento e dell'espressione, e un modello di generazione di video cinematografici basato sull'audio, inclusi codice di inferenza, pesi del modello e rapporto tecnico. Il modello è stato utilizzato anche per creare un modello 5B realizzato con Wan2.2-VAE che raggiunge un rapporto di compressione di 16 16 4, supportando sia la generazione di video da testo che da immagine a risoluzione 720P con 24fps. Il modello è stato rilasciato con una licenza open-source e ha guadagnato popolarità, con oltre 50 commit nel suo repository GitHub e una vasta comunità di contributori e utenti. Wan2.2 è un potente modello di generazione video che offre prestazioni all'avanguardia e versatilità per varie applicazioni, tra cui animazione di personaggi, sostituzione e generazione di video cinematografici guidati da audio. La sua architettura e il set di dati di addestramento lo rendono una risorsa preziosa per ricercatori e sviluppatori che lavorano nel campo della generazione e dell'elaborazione video. Il modello è adatto a varie applicazioni, tra cui animazione di personaggi, sostituzione e generazione di video cinematografici guidati da audio. Tuttavia, come qualsiasi modello di apprendimento automatico, Wan2.2 presenta alcune limitazioni. Ad esempio, richiede una quantità significativa di risorse computazionali e dati di addestramento per raggiungere le sue prestazioni e potrebbe non essere adatto a tutti i tipi di attività di generazione video. Inoltre, sebbene Wan2.2 sia stato integrato in diversi framework, le sue prestazioni e versatilità possono variare a seconda del caso d'uso e dell'applicazione specifici. In generale, Wan2.2 è un modello di generazione video potente e versatile che offre prestazioni all'avanguardia per varie applicazioni. La sua architettura e il set di dati di addestramento lo rendono una risorsa preziosa per ricercatori e sviluppatori che lavorano nel campo della generazione e dell'elaborazione video.