Wan2.2Otwarta rodzina modeli generowania wideo (5B/14B) dla tekstu/obrazu/video-do-wideo, dostarczająca klipy 1080p z ulepszonym ruchem i kontrolą.

Wan2.2 to otwarta źródłowa rodzina modeli generowania wideo, posiadająca dwa warianty: 5B i 14B, wspierająca generację tekstu/wideo/obrazu wideo. Potrafi wydawać filmy 1080p z poprawioną ruchem i kontrolą. Model zawiera architekturę Mixture-of-Experts (MoE), kinowe jakości wizualne i złożone generowanie ruchu. Architektura Wan2.2 oparta jest na modelu dyfuzyjnym video, z architekturą MoE dzielącą proces czyszczenia w krokwach czasowych. To pozwala utrzymać tę samą koszt komputacyjną, zwiększając w ten sposób ogólną pojemność modelu. Wan2.2 został zszkoleny na bardziej zwiększonym zestawie danych niż swój poprzednik, Wan2.1, z +65,6% więcej zdjęć i +83,2% więcej wideo. Ta ekspansja wzmocniła ogólne ogólności modelu w wielu wymiarach, w tym ruchu, semantyki i estetyki. Model wspiera generację tekstu wideo i obrazu na wideo w rozdzielczości 720P przy 24 klatki na sekundę, może działać również na karty graficzne klasy konsumenckiej jak GeForce 4090. Jest to jeden z najbardziej wydajnych modeli dostępny w czasie rzeczywistym dla generacji wideo 720P@24fps, potrafi obsługiwać jednocześnie sektory przemysłowy i akademicki. Oprogramowanie Wan2.2 zostało zintegrowane z wieloma frameworkami, w tym Diffusers, ComfyUI i ModelScope, a także wykorzystywane w różnych aplikacjach, takich jak animacja i zastępstwo postaci, oraz generowanie wideo filmowego kontrolowanego dźwiękiem. Oprócz tego Wan2.2 został również wykorzystany w tworzeniu jednoczesnego modelu charakteryzującego się animerowaną postacią wraz z replikacją holistycznej ruchowości i replikacją ekspresji, jak również w generowaniu modelu filmu z wykorzystaniem dźwięku, w tym kodzie inferencji, wag modelu oraz raportie technicznym. Model został również wykorzystany w celu stworzenia modelu o rozmiarze 5B, który został zbudowany przy użyciu Wan2.2-VAE, osiągającą współczynnik kompresji 16 16 4, obsługującą zarówno generację tekstu na wideo jak i obrazu na wideo z rozdzielczością 720P przy częstotliwości 24 klatek na sekundę. Model został wystawiony pod otwartą licencją i odniósł sukces, w związku z tym, ponad 50 wprowadzeń na swoim repozytorium GitHub, a także duży zespól kontrybutorów i użytkowników. Wan2.2 to potężny model generacji wideo, zapewniający światowy poziom wydajności i elastyczność dla różnych zastosowań, w tym animację postaci, zmianę postaci oraz generację wideo kina animowanego dostępnego pod kontrolą dźwięku. Jego architektura i zestaw danych treningowych sprawiają, że jest on cennym źródłem dla badaczy i programistów zajmujących się generacją i przetwarzaniem wideo. Model jest przystępny dla różnych zastosowań, w tym animacji charakterów, zastępowania i generacji filmów wideo pod kierunkiem dźwięku. Jednak, jak każdy model uczenia maszynowego, Wan2.2 ma pewne ograniczenia. Na przykład, wymaga on dużej ilości zasobów komputerowych i danych szkoleniowych, aby uzyskać swoją efektywność, a może nie być on odpowiedni dla wszystkich rodzajów zadań generowania wideo. Dodatkowo, chociaż narzędzie Wan2.2 zostało wdrożone w kilku frameworkach, jego wydajność i wszechstronność mogą być różne w zależności od specyfiki przypadku użycia i aplikacji. W zasadzie Wan2.2 jest to potężna i elastyczna model generowania wideo, który oferuje najwyższe możliwe osiągnięcia performujące dla różnych zastosowań. Architektura i zestaw danych szkoleniowy sprawiają, że jest on cennym zasobem dla naukowców i programistów pracujących w dziedzinie generowania i przetwarzania wideo.