Wan2.2オープンソースの動画生成モデルのファミリー(5B/14B) Text/イメージ/動画から動画への生成、および動画生成を最適化した動画への生成

ワン2.2は、5Bと14Bの2つのバリアントを備えたオープンソースの動画生成モデルファミリーです。テキスト／画像／動画から動画への生成をサポートし、1080pのクリップを向上させた動きと制御で供給できます。モデルの構成には混合エキスパート (Mixture-of-Experts、MoE) アーキテクチャ、シネマティックレベル (cinematic-level) なアesthetic、そして複雑な動きの生成が含まれます。 Wan2.2のアーキテクチャは、ビデオデフッションモデルに基づいており、MoEアーキテクチャによりデノイジングプロセスをステップバイステップに分離する。このため、総計算コストは同じに抑えながら総モデルの容量を増加させることができる。 "は、より大きなデータセットでのトレーニングにより、より先進的なモデルの開発に役立っています。前々のモデルに比べてのデータセットのサイズが65.6%以上、動画では83.2%以上拡大しており、これによりモデルの汎用性が高まります。運動、意味論、美観など、複数の次元を対象するモデルを構築するのに役立っています。 モデルは、720P解像度で24fpsに対応したテキストから動画と画像から動画の生成をサポートし、高度に並列化されたコンクリア 4090レベルでの消費者向けグラフィックスカードでの実行を可能にする。現時点では、720Pの24fpsに特化したモデルとして比較的手軽で最速のパフォーマンスを実現し、産業と学術の両分野で同時に提供が可能なモデルの一つである。 Wan2.2 は、Diffusers、ComfyUI、ModelScope と呼ばれるフレームワークに組み込まれており、キャラクターアニメーション、置換、音駆動シネマティックビデオ生成のほか、さまざまなアプリケーションに使用されています。 Wan2.2では、統合的なモーションや表現の再現を考慮したキャラクタ・動画の生成モデルを用い、音声制御の映画的な動画生成モデルを作成するための統合マクロとインフラを提供するとともに、推論用コード、モデルウェイト、そして技術レポートなどのサポートも行っている。 モデルは、Wan2.2-VAE を使用して 5B モデルの作成にも使用されており、16:16:4 の圧縮率を実現し、720P解像度、24fpsの動画生成をサポートするテキストから動画、イメージから動画の生成をサポートしています。 モデルは、オープンソースライセンスの下でリリースされ、GitHubリポジトリ上の50件を超えるコミット数と、 contributorやユーザーの大量のコミュニティを獲得しています。 ワン2.2は、キャラクターアニメーション、置換、音声駆動のシネマティックビデオ生成など、さまざまなアプリケーション向けに、先端の性能と多用途性を提供します。これは動画生成処理の黎明期に従事する研究者・開発者にとって、極めて有益なリソースとなります。 モデルは、キャラクター 애니메이션、置き換え、音声操作によるシネマティック ビデオ生成など、さまざまなアプリケーション向けに適している。 ただし、Wan2.2は、マシン・ラーニングモデルとしての一般的な制限を課すものでもある。たとえば、Wan2.2は優れたパフォーマンスを実現するために、計算リソースやトレーニング データを多量に必要とする上、すべてのビデオ生成タスクには適切ではない可能性がある。 また、ワン2.2は何回かのフレームワークに統合されましたが、その性能や汎用性は、特定のユースケースやアプリケーションに応じて異なる可能性があります。 概して、Wan2.2は、さまざまな用途向けに state-of-the-artの性能を提供する、強力かつ多機能なビデオ生成モデルである。アーキテクチャとトレーニング データセットは、ビデオ生成および処理の分野で活動する研究者や開発者にとって、貴重なリソースとなる。