Wan2.2Οικογένεια ανοιχτού κώδικα μοντέλων για δημιουργία βίντεο (5B/14B) για κείμενο/εικόνα/βίντεο-σε-βίντεο, προσφέροντας 1080p κλιπ με βελτιωμένη κίνηση και έλεγχο.

Wan2.2 είναι μια οικογένεια ανοιχτού κώδικα μοντέλων παραγωγής βίντεο με δύο παραλλαγές, 5B και 14B, που υποστηρίζουν δημιουργία βίντεο από κείμενο/εικόνα/βίντεο-σε-βίντεο. Μπορεί να παράγει κλιπ 1080p με βελτιωμένη κίνηση και έλεγχο. Το μοντέλο ενσωματώνει μια αρχιτεκτονική Mixture-of-Experts (MoE), αισθητική επιπέδου κινηματογραφικού και σύνθετη δημιουργία κίνησης. Η αρχιτεκτονική του Wan2.2 βασίζεται σε μοντέλο διάχυσης βίντεο, με την αρχιτεκτονική MoE να διαχωρίζει τη διαδικασία αποθορύβησης κατά τα βήματα χρόνου. Αυτό επιτρέπει τη διατήρηση του ίδιου υπολογιστικού κόστους, ενώ ταυτόχρονα αυξάνει τη συνολική ικανότητα του μοντέλου. Το Wan2.2 έχει εκπαιδευτεί σε ένα σημαντικά μεγαλύτερο σύνολο δεδομένων από το πρόγονο του, Wan2.1, με +65,6% περισσότερες εικόνες και +83,2% περισσότερα βίντεο. Αυτή η επέκταση ενισχύει τη γενίκευση του μοντέλου σε πολλαπλές διαστάσεις, συμπεριλαμβανομένων των κινήσεων, της σημασιολογίας και της αισθητικής. Το μοντέλο υποστηρίζει τη δημιουργία βίντεο από κείμενο και από εικόνα σε ανάλυση 720P με 24fps, και μπορεί να λειτουργεί σε κάρτες γραφικών κατανάλωσης όπως η 4090. Είναι ένα από τα πιο γρήγορα μοντέλα 720P@24fps που είναι διαθέσιμα αυτή τη στιγμή, ικανό να εξυπηρετεί ταυτόχρονα τον βιομηχανικό και τον ακαδημαϊκό τομέα. Το Wan2.2 έχει ενσωματωθεί σε διάφορα frameworks, όπως τα Diffusers, ComfyUI και ModelScope, και έχει χρησιμοποιηθεί σε διάφορες εφαρμογές, όπως η κίνηση χαρακτήρων, η αντικατάσταση και η παραγωγή βίντεο κινηματογραφικού στυλ που προκύπτει από ήχο. Το Wan2.2 έχει επίσης χρησιμοποιηθεί για τη δημιουργία ενός ενιαίου μοντέλου για την κίνηση και αντικατάσταση χαρακτήρων με ολιστική αναπαραγωγή κίνησης και έκφρασης, καθώς και ενός μοντέλου παραγωγής κινηματογραφικών βίντεο που κινείται από ήχο, συμπεριλαμβανομένου του κώδικα inference, των βαρών του μοντέλου και της τεχνικής αναφοράς. Το μοντέλο έχει χρησιμοποιηθεί επίσης για τη δημιουργία ενός μοντέλου 5B που κατασκευάστηκε με το Wan2.2‑VAE και επιτυγχάνει αναλογία συμπίεσης 16:16:4, υποστηρίζοντας τόσο τη δημιουργία βίντεο από κείμενο όσο και από εικόνα με ανάλυση 720P και 24fps. Το μοντέλο έχει κυκλοφορήσει υπό άδεια ανοιχτού κώδικα και έχει αποκτήσει δημοτικότητα, με περισσότερα από 50 commits στο GitHub repository του και μια μεγάλη κοινότητα συνεισφερόντων και χρηστών. Το Wan2.2 είναι ένα ισχυρό μοντέλο γεννήτριας βίντεο που προσφέρει κορυφαία απόδοση και πολυμορφία για διάφορες εφαρμογές, όπως η αναπαράσταση χαρακτήρων, η αντικατάσταση και η ηχητική παραγωγή κινηματογραφικών βίντεο. Η αρχιτεκτονική του και το σύνολο εκπαίδευσης το καθιστούν πολύτιμη πηγή για ερευνητές και προγραμματιστές που εργάζονται στον τομέα της δημιουργίας και επεξεργασίας βίντεο. Το μοντέλο είναι κατάλληλο για διάφορες εφαρμογές, όπως η κίνηση χαρακτήρων, η αντικατάσταση και η παραγωγή κινηματογραφικών βίντεο με έδρα ήχο. Ωστόσο, όπως κάθε μοντέλο μηχανικής μάθησης, το Wan2.2 έχει κάποιους περιορισμούς. Για παράδειγμα, απαιτεί σημαντικούς υπολογιστικούς πόρους και δεδομένα εκπαίδευσης για να επιτύχει την απόδοσή του, και μπορεί να μην είναι κατάλληλο για όλους τους τύπους εργασιών δημιουργίας βίντεο. Επιπλέον, ενώ το Wan2.2 έχει ενσωματωθεί σε αρκετά πλαίσια, η απόδοση και η ευελιξία του ενδέχεται να διαφέρουν ανάλογα με τη συγκεκριμένη περίπτωση χρήσης και την εφαρμογή. Συνολικά, το Wan2.2 είναι ένα ισχυρό και πολυεπιτηδευματικό μοντέλο παραγωγής βίντεο που προσφέρει κορυφαία απόδοση για διάφορες εφαρμογές. Η αρχιτεκτονική του και το σύνολο εκπαιδευτικών δεδομένων το καθιστούν πολύτιμο πόρο για ερευνητές και προγραμματιστές που εργάζονται στον τομέα της παραγωγής και επεξεργασίας βίντεο.