Γιατί η τεχνητή νοημοσύνη γράφει σαν τον Γιόντα;

Ο Andrew Stellman γράφει ότι χρησιμοποιεί την τεχνητή νοημοσύνη συνεχώς στη δουλειά του, όχι επειδή είναι καλή στη γραφή, αλλά επειδή είναι σταθερά κακή και αυτό τον βοηθά στη δική του διαδικασία.

Σε κείμενό του στις 14 Οκτωβρίου 2026, περιγράφει πως δεν ξεκινά πια με περίγραμμα. Αντί γι’ αυτό, κάνει brain dumping, brainstorms και συνομιλεί προφορικά με ένα AI, συγκεντρώνοντας σημειώσεις και ιδέες μέχρι να βγει, αν σταθεί τυχερός, ένα άρθρο.

Στη συνέχεια, ζητά από το AI να φτιάξει ένα πρώτο προσχέδιο. Το αποτέλεσμα, όπως λέει, είναι πάντα πολύ κακό. Ακριβώς όμως επειδή είναι τόσο κακό, το χρησιμοποιεί σαν ένα είδος βελτιωμένου «lorem ipsum»: βλέπει πώς θα μοιάζει το άρθρο, μετακινεί τα κομμάτια, ελέγχει τη ροή και μετά αντικαθιστά όλο το προβληματικό κείμενο με ανθρώπινη γραφή.

Ο ίδιος θεωρεί ότι αυτό τον έκανε πιο ευαίσθητο στα χαρακτηριστικά λάθη των μοντέλων. Ένα από αυτά, λέει, είναι το λεγόμενο «Yoda-speak», δηλαδή όταν το AI γράφει με παράξενη σύνταξη που θυμίζει τον Γιόντα.

Ο Stellman δίνει παραδείγματα από δικό του υλικό, όπου φράσεις όπως «The eight pond sentences fill the left region, every word clickable» ακούγονται αφύσικες και δύσκολες στη ροή. Όπως αναφέρει, παρόμοιες διατυπώσεις εμφανίζονται συχνά σε κείμενα που παράγει το AI.

Περιγράφει επίσης ότι, όταν ζήτησε βοήθεια από το Claude Opus για μια ακατανόητη πρόταση, εμφανίστηκε ακριβώς ο όρος «Yoda-speak». Από τότε, όπως λέει, ο όρος αυτός τού είναι χρήσιμος για να ξεδιαλύνει τέτοιες φράσεις.

Σύμφωνα με τον ίδιο, τα μοντέλα μπορούν να αναγνωρίσουν και να διορθώσουν τέτοιες διατυπώσεις. Αναφέρει ότι δοκίμασε σε νέο παράθυρο του ChatGPT την πρόταση για τις «pond sentences» και το σύστημα απάντησε με πιο φυσική εκδοχή.

Ο συγγραφέας φέρνει και ένα δεύτερο παράδειγμα, από προσχέδιο για κεφάλαιο σχετικά με τον μηχανισμό προσοχής των LLMs. Η φράση που παραθέτει είναι: «What’s left is to let the two heads’ work combine, so run the combined eight numbers through one more small table, eight in and eight out, square, called the output projection.»

Όπως εξηγεί, το πρόβλημα δεν είναι μόνο ότι η πρόταση είναι κακή, αλλά και ότι η δομή της είναι γεμάτη κόμματα και σπασμένα κομμάτια που δυσκολεύουν την κατανόηση. Το ουσιαστικό στοιχείο, γράφει, μένει στο τέλος, όταν ο αναγνώστης έχει ήδη χαθεί μέσα στη διατύπωση.

Στη συνέχεια, εξηγεί ότι ένα LLM είναι στην ουσία προβλεπτικό σύστημα επόμενης λέξης. Παίρνει το prompt, το διαθέσιμο πλαίσιο και ό,τι έχει ήδη παραγάγει, και γράφει την επόμενη λέξη, ξανά και ξανά.

Αυτό, σημειώνει, σημαίνει πως το μοντέλο δεν μπορεί συνήθως να επιστρέψει πίσω και να αναδιατάξει το πρώτο μισό μιας πρότασης, παρότι δεν έχει ολοκληρώσει ακόμη τη δημιουργία της. Έτσι, αν κάποιο σημαντικό στοιχείο έρχεται αργά, μπορεί να καταλήξει κολλημένο στο τέλος μιας ήδη άβολης πρότασης.

Ο Stellman παραπέμπει και σε έρευνα του 2024 από τους Wilson Wu, John X. Morris και Lionel Levine με τίτλο «Do language models plan ahead for future tokens?». Όπως γράφει, η μελέτη εξέταζε αν ένα μοντέλο κάνει πραγματικά δουλειά από πριν για λέξεις που δεν έχει γράψει ακόμη ή αν η πληροφορία που βοηθά αργότερα προκύπτει απλώς ως παρενέργεια της τωρινής επεξεργασίας.

Στο δικό του πείραμα, όπως το περιγράφει, συγκρίθηκαν δύο μοντέλα: ένα κανονικά εκπαιδευμένο και ένα με τροποποιημένη διαδικασία, ώστε κάθε θέση να εκπαιδεύεται μόνο για την αμέσως επόμενη λέξη. Η σύγκριση έδειξε ότι σε ορισμένες περιπτώσεις το κανονικά εκπαιδευμένο μοντέλο τα πήγαινε καλύτερα, με τη διαφορά να μεγαλώνει όσο δοκιμάζονταν μεγαλύτερα μοντέλα.

Ο συγγραφέας θεωρεί ότι αυτό δείχνει πως ένα μοντέλο μπορεί όντως να προετοιμάζει πληροφορία που θα φανεί χρήσιμη αργότερα. Ωστόσο, ξεκαθαρίζει ότι η πρόβλεψη δεν σημαίνει αναθεώρηση: το μοντέλο μπορεί να «βλέπει» τι έρχεται, αλλά δεν μπορεί να ξαναγράψει όσα έχει ήδη δεσμεύσει.

Σε άλλο σημείο, συνδέει το φαινόμενο του «Yoda-speak» με μια συχνή συμπεριφορά των μοντέλων όταν ζητά κανείς βοήθεια στη διατύπωση. Το AI δίνει μια εκδοχή, έπειτα προτείνει μια καλύτερη, και μερικές φορές άλλη μία ακόμη πιο καλή, λέγοντας σχεδόν πάντα ότι προτιμά την τελευταία.

Ο Stellman λέει ότι το ίδιο είδε και όταν ζήτησε από το ChatGPT να κάνει μια πρόταση πιο «Yoda-like». Το σύστημα έδωσε πρώτα μία εκδοχή και ύστερα μια δεύτερη, ακόμη πιο κοντά στο ύφος που ζητήθηκε.

Κατά την εκτίμησή του, τα δύο φαινόμενα —η αυτοδιόρθωση και το Yoda-speak— μπορεί να σχετίζονται με το ίδιο βασικό όριο του μοντέλου: δεν μπορεί να επιστρέψει πίσω και να αλλάξει αυτό που έχει ήδη γράψει. Αυτό, καταλήγει, εξηγεί γιατί μερικές φορές η καλύτερη απάντηση έρχεται μετά, ενώ άλλοτε μια σκέψη που θα έπρεπε να είχε μπει νωρίτερα καταλήγει στο τέλος μιας πρότασης.