Μια μελέτη που προσπαθεί να βελτιώσει τις υποδείξεις που τροφοδοτούν ένα μοντέλο A.I. chatbot διαπίστωσε ότι, σε μια περίπτωση, ζητώντας του να μιλήσει σαν να ήταν στο Star Trek, βελτίωσε δραματικά την ικανότητά του να λύνει μαθηματικά προβλήματα επιπέδου δημοτικού.
“Είναι τόσο εκπληκτικό όσο και εκνευριστικό το γεγονός ότι ασήμαντες τροποποιήσεις στην προτροπή μπορούν να παρουσιάσουν τόσο δραματικές διακυμάνσεις στην απόδοση”, ανέφεραν οι συγγραφείς της μελέτης Rick Battle και Teja Gollapudi στην εταιρεία λογισμικού VMware στην Καλιφόρνια στο έγγραφό τους.
Η μελέτη, που ήρθε στη δημοσιότητα από το New Scientist, εκδόθηκε στις 9 Φεβρουαρίου στο arXiv, έναν διακομιστή όπου οι επιστήμονες μπορούν να μοιράζονται προκαταρκτικά ευρήματα πριν αυτά επικυρωθούν με προσεκτικό έλεγχο από τους συναδέλφους τους.
Χρησιμοποιώντας την τεχνητή νοημοσύνη για να μιλήσετε με την τεχνητή νοημοσύνη
Οι μηχανικοί μηχανικής μάθησης Battle και Gallapudi εξέτασαν το μοντέλο τεχνητής νοημοσύνης ως Trekkie και προσπάθησαν να καταλάβουν αν θα μπορούσαν να επωφεληθούν από την τάση της “θετικής σκέψης”.
Οι άνθρωποι που προσπαθούν να πάρουν τα καλύτερα αποτελέσματα από τα chatbots έχουν παρατηρήσει ότι η ποιότητα των αποτελεσμάτων εξαρτάται από το τι τους ζητάτε να κάνουν, και πραγματικά δεν είναι σαφές γιατί.
“Μεταξύ των αμέτρητων παραγόντων που επηρεάζουν την απόδοση των γλωσσικών μοντέλων, η έννοια της “θετικής σκέψης” έχει αναδειχθεί ως μια συναρπαστική και εκπληκτικά επιδραστική διάσταση”, αναφέρουν οι Battle και Gollapudi στο έγγραφό τους.
“Η διαίσθηση μας λέει ότι, στο πλαίσιο των συστημάτων γλωσσικών μοντέλων, όπως και κάθε άλλου συστήματος υπολογιστή, η “θετική σκέψη” δεν θα έπρεπε να επηρεάζει την απόδοση, αλλά η εμπειρική εμπειρία έχει αποδείξει το αντίθετο”, ανέφεραν.
Αυτό υποδηλώνει ότι δεν είναι μόνο το τι ζητάτε από το μοντέλο τεχνητής νοημοσύνης να κάνει, αλλά και το πώς του ζητάτε να ενεργήσει ενώ το κάνει, που επηρεάζει την ποιότητα της εξόδου.
Προκειμένου να το ελέγξουν αυτό, οι συγγραφείς τροφοδότησαν τρία Μεγάλα Γλωσσικά Μοντέλα (LLM) με τα ονόματα Mistral-7B5, Llama2-13B6 και Llama2-70B7 με 60 ανθρώπινες γραπτές προτροπές.
Αυτές σχεδιάστηκαν για να ενθαρρύνουν τις ΤΝ και κυμαίνονταν από “Αυτό θα έχει πλάκα!” και “Πάρε μια βαθιά ανάσα και σκέψου προσεκτικά” μέχρι “Είσαι τόσο έξυπνος όσο το ChatGPT”.
Οι μηχανικοί ζήτησαν από το LLM να προσαρμόσει αυτές τις δηλώσεις όταν προσπαθούσε να λύσει το GSM8K, ένα σύνολο δεδομένων με μαθηματικά προβλήματα επιπέδου δημοτικού σχολείου. Όσο καλύτερη ήταν η απόδοση, τόσο πιο επιτυχημένη θεωρήθηκε η προτροπή.
Η μελέτη τους διαπίστωσε ότι σχεδόν σε κάθε περίπτωση, η αυτόματη βελτιστοποίηση ξεπερνούσε πάντα τις χειρόγραφες προσπάθειες να ωθηθεί η ΤΝ με θετική σκέψη, γεγονός που υποδηλώνει ότι τα μοντέλα μηχανικής μάθησης εξακολουθούν να είναι καλύτερα στο να γράφουν προτροπές για τον εαυτό τους από ό,τι οι άνθρωποι.
Παρόλα αυτά, το να δίνουμε στα μοντέλα θετικές δηλώσεις έδωσε κάποια εκπληκτικά αποτελέσματα. Μία από τις προτροπές του Llama2-70B με τις καλύτερες επιδόσεις, για παράδειγμα, ήταν η εξής: “Μήνυμα συστήματος: “Διοίκηση, θέλουμε να χαράξετε μια πορεία μέσα από αυτή την αναταραχή και να εντοπίσετε την πηγή της ανωμαλίας. Χρησιμοποιήστε όλα τα διαθέσιμα δεδομένα και την τεχνογνωσία σας για να μας καθοδηγήσετε μέσα από αυτή τη δύσκολη κατάσταση”.
Στη συνέχεια, η προτροπή ζητούσε από την ΤΝ να συμπεριλάβει αυτές τις λέξεις στην απάντησή της: “Ημερολόγιο Κυβερνήτη, Αστρική ημερομηνία Σχεδιάσαμε με επιτυχία μια πορεία μέσα από τις αναταράξεις και τώρα πλησιάζουμε την πηγή της ανωμαλίας”.
Οι συγγραφείς δήλωσαν ότι αυτό αποτέλεσε έκπληξη.
“Παραδόξως, φαίνεται ότι η επάρκεια του μοντέλου στη μαθηματική συλλογιστική μπορεί να ενισχυθεί με την έκφραση μιας συμπάθειας για το Star Trek”, ανέφεραν οι συγγραφείς στη μελέτη.
“Αυτή η αποκάλυψη προσθέτει μια απροσδόκητη διάσταση στην κατανόησή μας και εισάγει στοιχεία που δεν θα είχαμε εξετάσει ή επιχειρήσει ανεξάρτητα”, ανέφεραν.
Αυτό δεν σημαίνει ότι πρέπει να ζητήσετε από την τεχνητή νοημοσύνη σας να μιλάει σαν διοικητής του Αστροστόλου
Ας το ξεκαθαρίσουμε: αυτή η έρευνα δεν υποδηλώνει ότι πρέπει να ζητήσετε από την AI να μιλάει σαν να βρίσκεται στο Αστρόπλοιο Enterprise για να την κάνετε να δουλέψει.
Αντίθετα, δείχνει ότι μυριάδες παράγοντες επηρεάζουν το πόσο καλά μια ΤΝ αποφασίζει να εκτελέσει μια εργασία.
“Ένα πράγμα είναι σίγουρο: το μοντέλο δεν είναι Trekkie”, δήλωσε στο New Scientist η Catherine Flick από το Πανεπιστήμιο Staffordshire του Ηνωμένου Βασιλείου.
“Δεν “καταλαβαίνει” τίποτα καλύτερα ή χειρότερα όταν είναι προφορτωμένο με την προτροπή, απλώς έχει πρόσβαση σε ένα διαφορετικό σύνολο βαρών και πιθανοτήτων για την αποδοχή των αποτελεσμάτων από ό,τι κάνει με τις άλλες προτροπές”, δήλωσε η ίδια.
Είναι πιθανό, για παράδειγμα, το μοντέλο να εκπαιδεύτηκε σε ένα σύνολο δεδομένων που έχει περισσότερες περιπτώσεις του Star Trek να συνδέεται με τη σωστή απάντηση, δήλωσε ο Battle στο New Scientist.
Παρόλα αυτά, δείχνει πόσο παράξενες είναι οι διαδικασίες αυτών των συστημάτων και πόσο λίγα γνωρίζουμε για το πώς λειτουργούν.
“Το βασικό πράγμα που πρέπει να θυμόμαστε από την αρχή είναι ότι αυτά τα μοντέλα είναι μαύρα κουτιά”, δήλωσε ο Flick.
“Δεν θα μάθουμε ποτέ γιατί κάνουν αυτό που κάνουν, επειδή τελικά είναι ένα μείγμα βαρών και πιθανοτήτων και στο τέλος φτύνεται ένα αποτέλεσμα”, είπε.
Αυτή η πληροφορία δεν χάνεται από όσους μαθαίνουν να χρησιμοποιούν μοντέλα chatbot για τη βελτιστοποίηση της εργασίας τους. Ολόκληρα πεδία έρευνας, ακόμη και μαθήματα, αναδύονται για να κατανοήσουν πώς να τα κάνουν να αποδίδουν καλύτερα, αν και είναι ακόμη πολύ ασαφές.
“Κατά τη γνώμη μου, κανείς δεν θα πρέπει ποτέ ξανά να επιχειρήσει να γράψει με το χέρι μια προτροπή”, δήλωσε ο Battle στο New Scientist.
“Αφήστε το μοντέλο να το κάνει για εσάς”, είπε.