Wan2.2Відкритий набір моделей генерації відео (5B/14B) для тексту/зображення/відео-до-відео, що створює 1080p кліпи з покращеним рухом і контролем.

Wan2.2 є відкритим джерелом відеогенеруючого моделевого сімейства зі своїми варіантами 5B і 14B, яке підтримує процесорне створення відео на основі тексту/зображення/відео. Вміє створювати відеозаписи 1080p з покращеними рухами та управлінням. Модель імплементує архітектуру Mixture-of-Experts (MoE) , кінематографічних візуальних особливостей, та складного створення руху. Архітектура Wan2.2 заснована на відео-дифузійній моделі, з архітектурою MoE, яка розмежовує процес відновлення навичок на етапах. Це дозволяє зберігати одинаковий комп'ютерний час, збільшуючи загальну місткість моделі. Ван2.2 навчався на значно більші набори даних порівняно зі своїм попередником, Ван2.1, з яким порівняно більше картинок (+65.6%) і відеозаписів (+83.2%). Подібне розширення підвищує здатність моделі загальної узагальненості за декількома напрямками, включаючи рух, семантику й естетику. Модель підтримує генерацію відео з тексту та відео з зображень з роздільною здатністю 720p при швидкості 24 фр./с, а також може працювати на споживчих відеокартах типу 4090. Це швидші моделі 720p@24fps, доступні сьогодні, які здатні забезпечувати обслуговування як промислових, так і освітніх секторів одночасно. Додаток Wan2.2 інтегрований в кілька фреймворків, зокрема Diffusers, ComfyUI та ModelScope, а також застосовувався для різноманітних застосунків, таких як анімація персонажів, заміни і створення відео на основі аудіододатків. Ван2.2 також застосовувався для створення єдиного моделя для анімації і заміни персонажів зі складним рухом і відтворювкою вираження, а також моделі генерування відео в режимі кінематографічного відео за даними звука, включаючи код inference, ваги моделі та технічний звіт. Модель також була використана для створення 5-гігабайтової моделі за допомоги Wan2.2-VAE, яка досягла співвідношення компресії 16: 16: 4, підтримуючи створення текст-до-відео та зображення-до-відео у роздільній здатності 720P при частоті кадрів 24fps. Модель була випущена відповідно до ліцензії відкритого джерелу і отримала популярність, завдяки більше ніж 50 комітам у своєму репозиторії на GitHub та великій спільноті розробників та користувачів. Wan2.2 є потужним моделлю відеостворення, що надає на рівні сучасних стандартів показники та багатOFункціональність для різних застосувань, зокрема анімацію, заміну персонажів та генерацію відео за звуковим управлінням. Її архітектура та навчальний набір роблять її цінним ресурсом для дослідників та розробників, що працюють у сфері відеозгенерування та обробки. Модель придатна для різних застосунків, зокрема створення анімації персонажів, заміни, а також кінематографічних відео генерації за допомогою аудіо. Однак, як будь-яка модель машинного навчання, Wan2.2 має деякі обмеження. Наприклад, їй потрібні значні обчислювальні ресурси та навчальна вибірка даних для досягання своїх показників виконання, а вона може бути непридатною для усіх видів завдань за створення відео. Відтак, хоча Wan2.2 інтегрована у кілька фреймворків, її виконання та різноманітність можуть залежати від конкретного випадку використання та застосування. В цілому, Wan2.2 є потужним та різноманітним моделем відео генерації, який забезпечує передові показники в різні застосування. Його архітектура та навчальний набір роблять його цінним ресурсом для дослідників та розробників, які працюють в галузі відеогенерації та обробки.