Wan2.2משפחת דגמים לציור וידאו פתוח-מקור (5B/14B) לטקסט/תמונה/סרט לסרט, מספק 1080p קליפים עם מובילי מועיל ושליטה משופרים.

Wan2.2 היא משפחת מודלים של יצירת וידאו בקוד פתוח עם שני וריאנטים, 5B ו- 14B, התומכים ביצירת וידאו מתוך טקסט/תמונה/וידאו. היא יכולה לספק קליפים ברזולוציית 1080p עם תנועה משופרת ושליטה. המודל משלב ארכיטקטורת Mixture-of-Experts (MoE), אסתטיקה ברמת קולנוע ויצירת תנועה מורכבת. ארכיטקטורת ה- Wan2.2 מבוססת על מודל דיפוזיה של וידאו, כאשר ארכיטקטורת MoE מפרידה את תהליך הסרת הרעש על פני שלבים שונים בזמן. זה מאפשר לו לשמור על אותו עלות חישובית תוך הגדלת הקיבולת הכוללת של המודל. Wan2.2 הוכשר על מערכת נתונים גדולה משמעותית מקודמו, Wan2.1, עם +65.6% יותר תמונות ו- +83.2% יותר סרטונים. הרחבה זו משפרת את ההכללה של המודל על פני מימדים מרובים, כולל תנועות, סמנטיקה ואסתטיקה. המודל תומך ביצירת טקסט לוידאו ותמונה לוידאו ברזולוציית 720P עם 24 פריימים לשנייה, ויכול לפעול על כרטיסי גרפיקה ברמה לצרכן כמו 4090. הוא אחד המודלים המהירים ביותר ברזולוציית 720P@24fps הזמינים כיום, המסוגל לשרת הן את המגזר התעשייתי והן את המגזר האקדמי בו זמנית. Wan2.2 שולבה במספר מסגרות, כולל Diffusers, ComfyUI ו- ModelScope, והשמשה ליישומים שונים, כגון אנימציית דמויות, החלפה ויצירת וידאו קולנועית מונעת אודיו. Wan2.2 שימש גם ליצירת מודל מאוחד לאנימציית דמויות והחלפתן עם שכפול תנועה וביטוי הוליסטי, ומודל 생성 וידאו קולנועי המונע על ידי אודיו, כולל קוד היסק, משקלי מודל ודוח טכני. המודל שימש גם ליצירת מודל 5B שנבנה עם Wan2.2-VAE המשיג יחס דחיסה של 16 16 4, התומך הן ביצירת טקסט לוידאו והן ביצירת תמונה לוידאו ברזולוציית 720P עם 24 פריימים לשנייה. הדגם שוחרר תחת רישיון קוד פתוח והתפרסם, עם למעלה מ-50 תרומות במאגר GitHub שלו וקהילה גדולה של תורמים ושימושים. Wan2.2 הוא מודל חזק לייצור וידאו המספק ביצועים ברמה הנוכחית וגמישות עבור יישומים שונים, כולל אנימציית דמויות, החלפה ויצירת וידאו קולנועית מונעת קול. הארכיטקטורה ומערך הנתונים שלו הופכים אותו למשאב רב ערך עבור חוקרים ומפתחים העובדים בתחום עיבוד ויצירת וידאו. המודל מתאים ליישומים שונים, כולל אנימציית דמויות, החלפה ויצירת וידאו קולנועית מונעת אודיו. עם זאת, כמו כל מודל למידת מכונה, ל-Wan2.2 יש כמה מגבלות. לדוגמה, הוא דורש כמות משמעותית של משאבי חישוב ונתוני אימון כדי להשיג את הביצועים שלו, והוא עשוי לא להיות מתאים לכל סוגי משימות יצירת הווידאו. בנוסף, בעוד שWan2.2 שולב במספר מסגרות, הביצועים והגמישות שלו עשויים להשתנות בהתאם למקרה השימוש והיישום הספציפיים. בסך הכל, Wan2.2 הוא מודל 생성 וידאו רב עוצמה וגמיש המספק ביצועים חדשניים עבור יישומים שונים. הארכיטקטורה ומערך הנתונים שלו הופכים אותו למשאב רב ערך עבור חוקרים ומפתחים העובדים בתחום עיבוד ויצירת וידאו.