Wan2.2Öppen källkodsfamilj för videoavbildningsmodeller (5B/14B) för text/bild/videotill-video, levererar 1080p-klippen med förbättrad rörelse och kontroll.

Wan2.2 är en kostnadsfri video genereringsmodellfamilj med två varianter, 5B och 14B, som stöder text/bild/video-till-video generering. Det kan leverera 1080p-klipp med förbättrad rörelse och kontroll. Modellen innehåller ett Mixture-of-Experts (MoE)-arkitektur, filmnivåestetik och komplex rörelses generering. Wan2.2 bygger sin arkitektur på en video-diffusionsmodell, med architekturen MoE som separerar denoisning processen över tidssteg. Detta gör det möjligt att hålla samma beräkningskostnad samtidigt som den totala modulkapaciteten ökar. Wan2.2 har tränats på ett betydligt större datasätt jämfört med sin föregångare, Wan2.1, med +65,6 % fler bilder och +83,2 % fler videos. Denna utvidgning förbättrar modellens allmänna generalisering över flera dimensioner, inklusive rörelser, semantik och estetik. Modellen stödjer text-to-video och image-to-video generation vid 720P-upplösning med 24 bilder per sekund, och kan köras på konsumentvärda grafikkort, som 4090. Den är en av de snabbaste 720P@24fps-modellerna som är tillgängliga i nuläget och kan servera både industriella och akademiska sektorer samtidigt. Wan2.2 har integrerats i flera ramverk, däribland Diffusers, ComfyUI och ModelScope, och har använts för olika tillämpningar, såsom karaktärsskapande animation, ersättning och ljudstyrd cinematic video- generationsproduktionsprocess. Wan2.2 har också använts för att skapa en enad modell för karaktär animation och ersättnings med hänförlig rörelse och uttryck replikering, samt en video generation modell kring film ljud, inklusive inferens kod, modellvikter och teknisk rapport. Modellen har också använts för att skapa en 5 miljarder-parametrar-modell som byggts med Wan2.2-VAE och uppnår ett komprimeringsförhållande på16:16:4, stödjer både text-till-video och bild-till-video generation vid en upplösning på 720p med en uppspelningstakt på 24 fps. Modellen har släppts under en Creative Commons-licens och har vunnit popularitet, med över 50 commit på dess GitHub-repo och en stor community av bidragare och användare. Wan2.2 är en kraftfull videoutvecklingsmodell som erbjuder toppklassprestanda och flexibilitet för olika tillämpningar, inklusive karaktär animation, ersättning och audio-styrd filmmusik generering av kreativt videomaterial. Dess arkitektur och utbildningssamling gör det till ett betydelsefullt verktyg för forskare och utvecklare som arbetar inom fältet för video generering och bearbetning. Modellen är lämplig för olika tillämpningar, inklusive karakters animation, ersättning och audiokontrollerad kinematisk video generering. Men som alla maskininlärningsmodeller har Wan2.2 även sina begränsningar. Till exempel kräver den ett betydande antal datorkrävande resurser och utbildningsdata för att uppnå sin prestanda och den kan inte alltid vara lämplig för alla typer av videoupptagningstasks. Dessutom kan Wan2.2:s prestanda och flexibilitet variera beroende på den specifika användningsfall och tillämpning som används. På ett övergripande plan är Wan2.2 en kraftfull och flexibel video generationmodell som erbjuder den senaste teknologin och enastående prestanda för olika tillämpningar. Dess arkitektur och utbildningsdatasett gör det till ett värdefullt resurs för forskare och utvecklare som arbetar inom området video generation och bearbetning.