Οι ερευνητές του MIT δημιούργησαν έναν περιοδικό πίνακα που δείχνει πώς συνδέονται μεταξύ τους περισσότεροι από 20 κλασικοί αλγόριθμοι μηχανικής μάθησης. Το νέο πλαίσιο ρίχνει φως στο πώς οι επιστήμονες θα μπορούσαν να συνδυάσουν στρατηγικές από διαφορετικές μεθόδους για να βελτιώσουν τα υπάρχοντα μοντέλα τεχνητής νοημοσύνης ή να επινοήσουν νέα.
Για παράδειγμα, οι ερευνητές χρησιμοποίησαν το πλαίσιό τους για να συνδυάσουν στοιχεία δύο διαφορετικών αλγορίθμων για να δημιουργήσουν έναν νέο αλγόριθμο ταξινόμησης εικόνων που είχε 8 τοις εκατό καλύτερες επιδόσεις από τις τρέχουσες σύγχρονες προσεγγίσεις.
Ο περιοδικός πίνακας πηγάζει από μια βασική ιδέα: Όλοι αυτοί οι αλγόριθμοι μαθαίνουν ένα συγκεκριμένο είδος σχέσης μεταξύ σημείων δεδομένων. Ενώ κάθε αλγόριθμος μπορεί να το επιτυγχάνει αυτό με ελαφρώς διαφορετικό τρόπο, ο πυρήνας των μαθηματικών πίσω από κάθε προσέγγιση είναι ο ίδιος.
Βασιζόμενοι σε αυτές τις γνώσεις, οι ερευνητές εντόπισαν μια ενοποιητική εξίσωση που διέπει πολλούς κλασικούς αλγορίθμους τεχνητής νοημοσύνης. Χρησιμοποίησαν αυτή την εξίσωση για να επαναπροσδιορίσουν τις δημοφιλείς μεθόδους και να τις ταξινομήσουν σε έναν πίνακα, κατηγοριοποιώντας κάθε μία με βάση τις προσεγγιστικές σχέσεις που μαθαίνει.
Ακριβώς όπως ο περιοδικός πίνακας των χημικών στοιχείων, ο οποίος αρχικά περιείχε κενά τετράγωνα που αργότερα συμπληρώθηκαν από τους επιστήμονες, έτσι και ο περιοδικός πίνακας της μηχανικής μάθησης έχει κενά. Αυτά τα κενά προβλέπουν πού θα έπρεπε να υπάρχουν αλγόριθμοι, οι οποίοι όμως δεν έχουν ανακαλυφθεί ακόμη.
Ο πίνακας δίνει στους ερευνητές μια εργαλειοθήκη για να σχεδιάζουν νέους αλγορίθμους χωρίς να χρειάζεται να ανακαλύπτουν εκ νέου ιδέες από προηγούμενες προσεγγίσεις, λέει ο Shaden Alshammari, μεταπτυχιακός φοιτητής του ΜΙΤ και κύριος συγγραφέας μιας εργασίας σχετικά με το νέο αυτό πλαίσιο.
«Δεν είναι απλώς μια μεταφορά», προσθέτει ο Alshammari. «Αρχίζουμε να βλέπουμε τη μηχανική μάθηση ως ένα σύστημα με δομή που είναι ένας χώρος τον οποίο μπορούμε να εξερευνήσουμε και όχι απλώς να μαντέψουμε το δρόμο μας».
Μαζί της στην εργασία εργάζονται ο John Hershey, ερευνητής στο Google AI Perception, ο Axel Feldmann, μεταπτυχιακός φοιτητής του ΜΙΤ, ο William Freeman, καθηγητής Ηλεκτρολόγων Μηχανικών και Επιστήμης Υπολογιστών Thomas και Gerd Perkins και μέλος του Εργαστηρίου Επιστήμης Υπολογιστών και Τεχνητής Νοημοσύνης (CSAIL), και ο κύριος συγγραφέας Mark Hamilton, μεταπτυχιακός φοιτητής του ΜΙΤ και ανώτερος διευθυντής μηχανικής στη Microsoft. Η έρευνα θα παρουσιαστεί στο διεθνές συνέδριο για τη μάθηση αναπαραστάσεων.
Μια τυχαία εξίσωση
Οι ερευνητές δεν ξεκίνησαν να δημιουργήσουν έναν περιοδικό πίνακα της μηχανικής μάθησης.
Μετά την ένταξή του στο εργαστήριο Freeman, ο Alshammari άρχισε να μελετά την ομαδοποίηση, μια τεχνική μηχανικής μάθησης που ταξινομεί εικόνες μαθαίνοντας να οργανώνει παρόμοιες εικόνες σε κοντινές ομάδες.
Συνειδητοποίησε ότι ο αλγόριθμος ομαδοποίησης που μελετούσε ήταν παρόμοιος με έναν άλλο κλασικό αλγόριθμο μηχανικής μάθησης, που ονομάζεται αντιπαραβολική μάθηση, και άρχισε να εμβαθύνει στα μαθηματικά. Η Alshammari διαπίστωσε ότι αυτοί οι δύο διαφορετικοί αλγόριθμοι θα μπορούσαν να αναδιατυπωθούν χρησιμοποιώντας την ίδια υποκείμενη εξίσωση.
«Σχεδόν τυχαία φτάσαμε σε αυτή την ενοποιητική εξίσωση. Μόλις ο Shaden ανακάλυψε ότι συνδέει δύο μεθόδους, αρχίσαμε να ονειρευόμαστε νέες μεθόδους για να τις φέρουμε σε αυτό το πλαίσιο. Σχεδόν κάθε μία από αυτές που δοκιμάσαμε μπορούσε να προστεθεί», λέει ο Χάμιλτον.
Το πλαίσιο που δημιούργησαν, η πληροφοριακή αντιθετική μάθηση (I-Con), δείχνει πώς μια ποικιλία αλγορίθμων μπορεί να εξεταστεί μέσα από το φακό αυτής της ενοποιητικής εξίσωσης. Περιλαμβάνει τα πάντα, από αλγορίθμους ταξινόμησης που μπορούν να ανιχνεύσουν spam μέχρι τους αλγορίθμους βαθιάς μάθησης που τροφοδοτούν τα LLM.
Η εξίσωση περιγράφει πώς οι εν λόγω αλγόριθμοι βρίσκουν συνδέσεις μεταξύ πραγματικών σημείων δεδομένων και στη συνέχεια προσεγγίζουν αυτές τις συνδέσεις εσωτερικά.
Κάθε αλγόριθμος στοχεύει στην ελαχιστοποίηση του ποσού της απόκλισης μεταξύ των συνδέσεων που μαθαίνει να προσεγγίζει και των πραγματικών συνδέσεων στα δεδομένα εκπαίδευσής του.
Αποφάσισαν να οργανώσουν το I-Con σε έναν περιοδικό πίνακα για να κατηγοριοποιήσουν τους αλγορίθμους με βάση τον τρόπο με τον οποίο συνδέονται τα σημεία σε πραγματικά σύνολα δεδομένων και τους πρωταρχικούς τρόπους με τους οποίους οι αλγόριθμοι μπορούν να προσεγγίσουν αυτές τις συνδέσεις.
«Η εργασία προχώρησε σταδιακά, αλλά μόλις εντοπίσαμε τη γενική δομή αυτής της εξίσωσης, ήταν ευκολότερο να προσθέσουμε περισσότερες μεθόδους στο πλαίσιό μας», λέει ο Alshammari.
Ένα εργαλείο για ανακάλυψη
Καθώς τακτοποιούσαν τον πίνακα, οι ερευνητές άρχισαν να βλέπουν κενά στα οποία θα μπορούσαν να υπάρχουν αλγόριθμοι, οι οποίοι όμως δεν είχαν εφευρεθεί ακόμη.
Οι ερευνητές συμπλήρωσαν ένα κενό δανειζόμενοι ιδέες από μια τεχνική μηχανικής μάθησης που ονομάζεται αντιθετική μάθηση και εφαρμόζοντάς τες στην ομαδοποίηση εικόνων. Αυτό είχε ως αποτέλεσμα έναν νέο αλγόριθμο που μπορούσε να ταξινομήσει μη επισημασμένες εικόνες κατά 8% καλύτερα από μια άλλη σύγχρονη προσέγγιση.
Χρησιμοποίησαν επίσης το I-Con για να δείξουν πώς μια τεχνική απομάκρυνσης δεδομένων που αναπτύχθηκε για την αντιθετική μάθηση θα μπορούσε να χρησιμοποιηθεί για την ενίσχυση της ακρίβειας των αλγορίθμων ομαδοποίησης.
Επιπλέον, ο ευέλικτος περιοδικός πίνακας επιτρέπει στους ερευνητές να προσθέτουν νέες γραμμές και στήλες για να αναπαριστούν πρόσθετους τύπους συνδέσεων σημείων δεδομένων.
Τελικά, έχοντας το I-Con ως οδηγό θα μπορούσε να βοηθήσει τους επιστήμονες της μηχανικής μάθησης να σκεφτούν έξω από το κουτί, ενθαρρύνοντάς τους να συνδυάσουν ιδέες με τρόπους που δεν θα είχαν απαραίτητα σκεφτεί διαφορετικά, λέει ο Hamilton.
«Αποδείξαμε ότι μία μόνο πολύ κομψή εξίσωση, που έχει τις ρίζες της στην επιστήμη της πληροφορίας, σας δίνει πλούσιους αλγορίθμους που καλύπτουν 100 χρόνια έρευνας στη μηχανική μάθηση. Αυτό ανοίγει πολλούς νέους δρόμους για ανακάλυψη», προσθέτει.
«Ίσως η πιο προκλητική πτυχή του να είσαι ερευνητής της μηχανικής μάθησης στις μέρες μας είναι ο φαινομενικά απεριόριστος αριθμός δημοσιεύσεων που εμφανίζονται κάθε χρόνο. Στο πλαίσιο αυτό, οι εργασίες που ενοποιούν και συνδέουν τους υπάρχοντες αλγορίθμους έχουν μεγάλη σημασία, αλλά είναι εξαιρετικά σπάνιες. Το I-Con παρέχει ένα εξαιρετικό παράδειγμα μιας τέτοιας ενοποιητικής προσέγγισης και ελπίζουμε ότι θα εμπνεύσει άλλους να εφαρμόσουν μια παρόμοια προσέγγιση σε άλλους τομείς της μηχανικής μάθησης», λέει ο Yair Weiss, καθηγητής στη Σχολή Επιστήμης και Μηχανικής Υπολογιστών του Εβραϊκού Πανεπιστημίου της Ιερουσαλήμ, ο οποίος δεν συμμετείχε στην έρευνα αυτή.
Η έρευνα αυτή χρηματοδοτήθηκε, εν μέρει, από τον Επιταχυντή Τεχνητής Νοημοσύνης της Πολεμικής Αεροπορίας, το Ινστιτούτο Τεχνητής Νοημοσύνης και Θεμελιωδών Αλληλεπιδράσεων του Εθνικού Ιδρύματος Επιστημών (AI Institute for Artificial Intelligence and Fundamental Interactions) και την Quanta Computer.