Νέα τεχνολογία AI της Disney δημιουργεί κλιπάκια από γραμμένα σενάρια

Δεν ακούγεται πρώτη φορά ότι η τεχνολογία AI κατάφερε να δημιουργήσει κλιπάκι από απόσμασμα κειμένου. Πέρυσι, ερευνητές ανέπτυξαν λεπτομερώς ένα σύστημα που αξιοποίησε ένα ζευγάρι νευρωνικών δικτύων – συμπλέγματα μαθηματικών μοντέλων – για τη δημιουργία ενός βίντεο μήκους 32 καρέ και μεγέθους 64 × 64 pixel. Το αποτέλεσμα ήταν να εισάγεται ένα κείμενο-σενάριο που περιέγραφε μια κατάσταση, όπως «παίζοντας γκολφ στο γρασίδι». Οι επιστήμονες της Disney Research και της Rutgers δανείστηκαν την ιδέα και την πήγαν ένα βήμα πιο πέρα. Συγκεκριμένα, το σενάριο κειμένου σε κινούμενα σχέδια παράγει βίντεο κινούμενων σχεδίων χωρίς την ανάγκη για σχολιαστούν τα δεδομένα, δεδομένου ότι κείμενο εισαγωγής περιγράφει ορισμένες δραστηριότητες.

“Η αυτόματη δημιουργία κινούμενων εικόνων από κείμενα φυσικής γλώσσας βρίσκει εφαρμογή σε διάφορους τομείς. Ιδιαίτερα σε περιπτώσεις όπως την παραγωγή κινηματογραφικών ταινιών και εκπαιδευτικών βίντεο. Μπορεί να αποδειχθούν ένα ιδιαίτερα χρήσιμο εργαλείο για τον σεναριογράφο επιτρέποντας την ταχύτερη επανάληψη.”, γράφουν οι ερευνητές. “Σε αυτό το άρθρο, αναπτύσσουμε ένα σύστημα text-to-animation το οποίο είναι ικανό να χειρίζεται περίπλοκες προτάσεις. Ο σκοπός του συστήματος δεν είναι να αντικαταστήσει συγγραφείς και καλλιτέχνες, αλλά να κάνει την εργασία τους πιο αποτελεσματική και λιγότερο κουραστική”.

Όπως εξηγεί η ομάδα, η μετάφραση κειμένου σε κινούμενα σχέδια δεν είναι απλή διαδικασία. Ούτε οι προτάσεις εισόδου ούτε τα κινούμενα σχέδια εξόδου έχουν μια σταθερή δομή, η οποία λένε ότι είναι ο λόγος που τα περισσότερα εργαλεία text-to-video δεν μπορούν να χειριστούν περίπλοκες προτάσεις. Για να ξεπεράσουν τους περιορισμούς αυτούς, δημιούργησαν ένα δομοστοιχειωτό νευρωνικό δίκτυο που αποτελείται από πολλά συστατικά μέρη. Το πρώτο μέρος είναι μiα νέα μονάδα ανάλυσης δεδομένων που απομονώνει αυτόματα το σχετικό κείμενο που περιγράφει την σκηνή. Η δεύτερη είναι φυσικής επεξεργασίας γλώσσας που απλοποιεί περίπλοκες προτάσεις. Χρησιμοποιεί ένα σύνολο γλωσσικών κανόνων και εξάγει πληροφορίες από τις απλουστευμένες προτάσεις σε προκαθορισμένες παραστάσεις δράσης. Τελικά, το animation generation model μεταφράζει την υποτιθέμενη δράση σε ακολουθίες κινούμενων σκίτσων.

Facebooktwittergoogle_plusredditpinterestlinkedinmailFacebooktwittergoogle_plusredditpinterestlinkedinmail

Σχόλια

σχολιάστε

Ονομάζομαι Μιχάλης "Strudel" Αμανατίδης και σπουδάζω Ηλεκτρολόγος Μηχανικός Τ.Ε. Ασχολούμαι από μικρός με το "gaming" και μου αρέσει αφάνταστα να πειραματίζομαι με PC Hardware και Smartphones αλλά και να μαθαίνω καινούρια πράγματα για αυτά μέχρι να τα καταστρέψω.

SHARE THE LOVE

Facebooktwittergoogle_plusredditpinterestlinkedinmailFacebooktwittergoogle_plusredditpinterestlinkedinmail

Evolution Radio