Wan2.2Offene-Quellenschauprozessionsmodellfamilie (5B/14B) für text/bild/video-zu-video, liefert 1080p-Klipse mit verbesserter Bewegung und Kontrolle.

Wan2.2 ist eine Familie von Open-Source-Video generierungsmodellen mit zwei Varianten, 5B und 14B, die Text/Bild/Video-zu-Video-Generierung unterstützen. Es kann 1080p-Clips mit verbesserter Bewegung und Kontrolle liefern. Das Modell enthält eine Mixture-of-Experts- (MoE) Architektur, filmische Ästhetik und komplexe Bewegungs generation. Die Architektur von Wan2.2 basiert auf einem Video-Diffusionsmodell, wobei die MoE-Architektur den Denoising-Prozess über die Zeitschritte hinweg trennt. Dies ermöglicht es, die gleiche Rechenkosten beizubehalten, während die Gesamtkapazität des Modells erhöht wird. Wan2.2 wurde anhand eines wesentlich größeren Datensatzes trainiert als sein Vorgänger Wan2.1, nämlich mit +65,6% mehr Bildern und +83,2% mehr Videos. Diese Erweiterung verbessert die Generalisierungsfähigkeit des Modells über mehrere Dimensionen hinweg, einschließlich Bewegungen, Semantik und Ästhetik. Das Modell unterstützt die Text-zu-Video- und Bild-zu-Video-Generierung in 720p-Auflösung mit 24 fps und kann auf Grafikkarte der Consumer-Klasse wie 4090 laufen. Es ist eines der schnellsten 720p@24fps-Modelle, die derzeit verfügbar sind, und kann sowohl den industriellen als auch den akademischen Sektor bedienen. Wan2.2 wurde in mehrere Frameworks integriert, darunter Diffusers, ComfyUI und ModelScope, und für verschiedene Anwendungen wie Charakteranimation, -ersatz und audiogetriebene cinematische Videogenerierung eingesetzt. Wan2.2 wurde auch verwendet, um ein einheitliches Modell für Charakteranimation und -ersatz mit holistischer Bewegungs- und Ausdruckreplikation sowie ein audiogetriebenes Modell für die Generierung kinematografischer Videos zu erstellen, einschließlich Inferenzcode, Modellgewichten und technischem Bericht. Das Modell wurde auch verwendet, um ein 5B-Modell zu erstellen, das mit der Wan2.2-VAE erstellt wurde und ein Komprimierungsverhältnis von 16:16:4 erreicht. Es unterstützt sowohl die Text-zu-Video- als auch die Bild-zu-Video-Generierung in 720p-Auflösung mit 24 Bildern pro Sekunde. Das Modell wurde unter einer Open-Source-Lizenz veröffentlicht und hat an Popularität gewonnen, mit über 50 Commits in seinem GitHub-Repository und einer großen Gemeinschaft von Mitwirkenden und Nutzern. Wan2.2 ist ein leistungsstarkes Videogenerierungsmodell, das eine Spitzenleistung und Vielseitigkeit für verschiedene Anwendungen bietet, darunter Charakteranimation, -ersatz und audiogetriebene kinematografische Videogenerierung. Seine Architektur und sein Trainingsdatensatz machen ihn zu einer wertvollen Ressource für Forscher und Entwickler, die auf dem Gebiet der Video Generierung und -verarbeitung arbeiten. Das Modell eignet sich für verschiedene Anwendungen, darunter Charakteranimation, -ersatz und audiogesteuerte kinematische Videogenerierung. Wie jedes Machine-Learning-Modell hat jedoch auch Wan2.2 einige Einschränkungen. Zum Beispiel benötigt es erhebliche Rechenressourcen und Trainingsdaten, um seine Leistung zu erzielen, und es ist möglicherweise nicht für alle Arten von Videogenerierungsaufgaben geeignet. Zusätzlich kann die Leistung und Vielseitigkeit von Wan2.2, obwohl es in mehrere Frameworks integriert wurde, je nach spezifischem Anwendungsfall und Einsatz variieren. Insgesamt ist Wan2.2 ein leistungsstarkes und vielseitiges Videogenerierungsmodell, das eine Spitzenleistung für verschiedene Anwendungen bietet. Seine Architektur und sein Trainingsdatensatz machen es zu einer wertvollen Ressource für Forscher und Entwickler, die auf dem Gebiet der Videoerzeugung und -verarbeitung tätig sind.