Wan2.2Modelării deschise de video pentru generație (5B/14B) pentru concretizarea text/imagină/video-în-video, furnizând secvențe de 1080p cu mișcare îmbunătățită și control.

Wan2.2 este o familie de modele open-source de generare video cu două variante, 5B și 14B, care suportă generația de text/desene/video la video. Modelul poate furniza clipe la 1080p cu un control și un mișcare îmbunătățite. Modulul îmbină o arhitectură Mixture-of-Experts (MoE), estetici de nivel cinematic și generație de mișcare complexă. Arhitectura lui Wan2.2 este bazată pe un model de difuziune video, cu arhitectura MoE care separă procesul de anumire la fiecare fază de timp. Acest lucru îi permite să mențină același cost computațional în timp ce crește capacitatea modelului în ansamblu. Wan2.2 a fost trainat pe un set de date mult mai mare decât predecesoarea sa, Wan2.1, cu +65,6% mai multe imagini și +83,2% mai multe video. Acesta extindere îmbunătățește calitățile de generalizare ale modelului pe mai multe axe, inclusiv mișcări, semantica și estetica. Modelul sprijină generația text-to-video și image-to-video la rezoluția de 720P cu 24fps și poate rula pe plăci grafeice de consum ca 4090. Este unul dintre cele mai rapide modele disponibile în prezent, care pot servi atât sectoarele industriale, cât și cele academice în același timp. Wan2.2 a fost integrat în mai multe framework-uri, inclusiv Diffusers, ComfyUI și ModelScope, iar a fost folosit pentru diverse aplicații, cum ar fi animația caracterului, înlocuirea și generarea de videoclip cinema-driven audio. Wan2.2 a fost utilizat, de asemenea, pentru a crea un model unificat pentru animația caracterelor și înlocuirea cu reproducerea de mișcare și expresie holistică, și un model de generare a video-cinematografice audio-determinate, inclusiv codul de înferență, greutățile modelului și raportul tehnic. Modelul a fost utilizat, de asemenea, pentru a crea o model de 5B construit cu Wan2.2-VAE care atinge o rată de comprimare de 16 16 4, suportând atât generarea text-to-video cât și imageto-video la rezoluția de 720P la 24 fps. Modelul a fost lansat sub licență open-source și a câștigat popularitate, cu peste 50 de contribuții în repository-urile sale GitHub și o largă comunitate de contributori și utilizatori. Wan2.2 este un model de generare video puternic, care furnizează performanță și versatilitate de top în diferitele aplicații, inclusiv animație a personajelor, înlocuire și generare a filmelor video controlate de sunet. Arhitectura și setul de date de antrenare îl fac un resursă valoroasă pentru cercetătorii și dezvoltatorii care lucrează în domeniul generării și procesării video. Modelul este適abil pentru diferite aplicații, inclusiv animație de caracter, înlocuire și generare de video cinematografică controlată de sunete. Totuși, ca orice model de învățare a mașinii, Wan2.2 are unele limitări. De exemplu, necesită o cantitate semnificativă de resurse de calcul și date de antrenare pentru a-și atinge performanțele, și nu poate fi adecvat pentru toate tipurile de sarcini de generare a video. De asemenea, deși Wan2.2 a fost integrat în mai multe frameworkuri, performanța și flexibilitatea sa pot varia în funcție de cazul concret de utilizare și de aplicație. În general, Wan2.2 este un model video de generare puternic și versatil care oferă performanțe la nivelul cel mai avansat pentru diverse aplicații. Arhitectura și setul de date pentru antrenare al său fac din el o resursă valoroasă pentru cercetători și dezvoltatori care lucrează în domeniul generării și prelucrării video.