Πώς ένας πράκτορας αυτοβελτιώνεται μέσω εμπειρίας και αλλαγών στο πλαίσιο

Ένας πράκτορας μπορεί να γίνεται καλύτερος στη δουλειά του χωρίς νέο μοντέλο, αρκεί να μαθαίνει από την εμπειρία του και να αλλάζει τον τρόπο με τον οποίο χειρίζεται τα επόμενα καθήκοντα. Αυτό εξηγεί η Annie Wang σε κείμενό της στο O’Reilly Radar, στις 13 Νοεμβρίου 2026.

Η βελτίωση αυτή δεν συμβαίνει μόνο μέσα στο ίδιο το μοντέλο. Μπορεί να αφορά μια ενημερωμένη οδηγία, ένα μάθημα που αποθηκεύεται στη μνήμη ή μια αλλαγή στο λογισμικό που τρέχει τον πράκτορα.

Η Wang περιγράφει τον αυτοβελτιούμενο πράκτορα ως ένα σύστημα που χρησιμοποιεί την εμπειρία για να αλλάζει τον τρόπο με τον οποίο αντιμετωπίζει μελλοντικές εργασίες. Μεγάλο μέρος αυτής της αλλαγής γίνεται στο harness, δηλαδή στις οδηγίες, το πλαίσιο, τα εργαλεία και το λογισμικό γύρω από το μοντέλο. Ερευνητικές προσεγγίσεις όπως το Harness-RSI εξετάζουν πώς οι πράκτορες μπορούν να αλλάζουν αυτό το πλαίσιο ενώ συνεχίζουν να χρησιμοποιούν το ίδιο μοντέλο.

Μια αλλαγή, ωστόσο, μπορεί και να χειροτερεύσει το αποτέλεσμα. Μια αποθηκευμένη μνήμη μπορεί να είναι λανθασμένη ή μια νέα οδηγία να λύνει ένα πρόβλημα αλλά να δημιουργεί ένα άλλο. Η Wang προσεγγίζει τους αυτοβελτιούμενους πράκτορες μέσα από τρία στοιχεία: αξιολόγηση, διαδικασία βελτίωσης και τα μέρη του harness που επιτρέπεται να αλλάζουν.

Στο πρώτο πεδίο, η αξιολόγηση πρέπει να δείχνει τι σημαίνει πραγματική βελτίωση. Η βαθμολογία ενός μοντέλου σε ένα benchmark δείχνει πώς τα πήγε σε εκείνη τη δοκιμή. Για έναν πράκτορα που βασίζεται σε αυτό το μοντέλο, χρειάζεται επίσης να ελεγχθεί αν χρησιμοποίησε τη σωστή πληροφορία, αν έκανε τις σωστές ενέργειες και αν κάλυψε τις απαιτήσεις του χρήστη.

Η Wang φέρνει ως παράδειγμα μια άσκηση σχεδιασμού δείπνου που ανέπτυξε για τη διδασκαλία της αξιολόγησης. Σε αυτήν, ο πράκτορας λαμβάνει τις ανάγκες μιας ομάδας και πληροφορίες για εστιατόρια, με αποστολή να προτείνει χώρο και ώρα για δείπνο. Η επιτυχία είναι εύκολο να οριστεί: μπορούν όλοι να φάνε εκεί, να το πληρώσουν και να είναι στην ώρα τους;

Σε μία δοκιμή, ο πράκτορας πρότεινε ένα εστιατόριο που κάλυπτε τις ανάγκες όλων. Η αξιολόγηση, όμως, χαρακτήρισε την απάντηση λανθασμένη επειδή τη σύγκρινε με ένα ενδεικτικό σωστό αποτέλεσμα που είχε γράψει η ίδια. Όπως επισημαίνει, αυτό ήταν μόνο μία πιθανή λύση και μια διαφορετική πρόταση θα μπορούσε να είναι εξίσου σωστή. Μια τέτοια αξιολόγηση θα μπορούσε να οδηγήσει έναν αυτοβελτιούμενο πράκτορα να διορθώσει μια ήδη καλή απόφαση.

Πιο χρήσιμη είναι μια αξιολόγηση που ελέγχει αν η πρόταση ανταποκρίνεται στις απαιτήσεις της ομάδας. Αν ο προϋπολογισμός κάποιου είναι 25 δολάρια και το γεύμα κοστίζει 28, το σχέδιο αποτυγχάνει σε αυτό το κριτήριο. Μπορεί να στηθεί προσαρμοσμένη αξιολόγηση με βάση την τιμή, τις διατροφικές ανάγκες και τον χρόνο. Άλλα ζητήματα απαιτούν κρίση, όπως το αν ο πράκτορας εξήγησε καθαρά την ισορροπία ανάμεσα σε κόστος και ευκολία. Σε τέτοιες περιπτώσεις, μπορεί να βοηθήσει άνθρωπος ή άλλο μοντέλο.

Αν ο πράκτορας κληθεί να κάνει και κράτηση, τότε πρέπει να ελεγχθεί αν η κράτηση υπάρχει πραγματικά. Η φράση «Το τραπέζι σας είναι κλεισμένο» δεν αρκεί από μόνη της. Η αξιολόγηση του συστήματος σημαίνει ότι ελέγχεται και τι έκανε και τι είπε.

Όταν ο πράκτορας προτείνει μια αλλαγή, η νέα εκδοχή μπορεί να συγκριθεί με την τρέχουσα. Πρέπει να συνεχίζει να χειρίζεται καλά όσα ήδη έκανε σωστά. Χρειάζεται επίσης να δοκιμάζεται σε περιπτώσεις που δεν χρησιμοποιήθηκαν για να αναπτυχθεί ή να επιλεγεί η αλλαγή. Το να βγει σωστό ένα μόνο σχέδιο δείπνου λέει λιγότερα από το πώς τα καταφέρνει σε νέα σενάρια με διαφορετικούς προϋπολογισμούς, διατροφικές ανάγκες και ωράρια.

Η αξιολόγηση πρέπει επίσης να εξηγεί γιατί κάτι απέτυχε. Η διατύπωση «το γεύμα κοστίζει περισσότερο από τον προϋπολογισμό του καλεσμένου» δίνει στον πράκτορα κάτι συγκεκριμένο να ελέγξει. Χρειάζεται ακόμη να βρει την αιτία, αλλά ξέρει από πού να ξεκινήσει.

Στη συνέχεια, η Wang ξεχωρίζει την αυτονομία στη βελτίωση. Αν ένας μηχανικός πρέπει να εντοπίζει κάθε αποτυχία, να προτείνει κάθε αλλαγή και να ξεκινά κάθε δοκιμή, η βελτίωση εξακολουθεί να εξαρτάται από αυτόν. Η αυτοματοποιημένη βελτίωση σημαίνει ότι περισσότερη από αυτή τη δουλειά περνά στο ίδιο το σύστημα.

Ένας πιο αυτόνομος πράκτορας θα μπορούσε, για παράδειγμα, να παρατηρήσει ότι προτείνει συχνά εστιατόρια που οι άνθρωποι δεν μπορούν να πληρώσουν, παρότι οι προϋπολογισμοί τους είναι διαθέσιμοι. Θα μπορούσε τότε να δοκιμάσει μια νέα οδηγία: να αφαιρεί πρώτα τα εστιατόρια που ξεπερνούν τον προϋπολογισμό οποιουδήποτε πριν συγκρίνει τις υπόλοιπες επιλογές. Έπειτα θα δοκίμαζε την οδηγία σε άλλες ομάδες. Αν τα αποτελέσματα βελτιωθούν και ο πράκτορας συνεχίσει να χειρίζεται σωστά όσα ήδη έκανε καλά, η αλλαγή μπορεί να διατηρηθεί. Αν όχι, παραμένει η τρέχουσα εκδοχή.

Υπάρχουν δύο διαφορετικά επίπεδα εργασίας. Όταν σχεδιάζει ένα δείπνο, ο πράκτορας χρησιμοποιεί εργαλεία, διαβάζει τα αποτελέσματα και αποφασίζει το επόμενο βήμα. Αυτό είναι το task loop του. Η διαδικασία βελτίωσης κοιτάζει πίσω σε αυτές τις προσπάθειες και αλλάζει τον τρόπο με τον οποίο θα αντιμετωπίσει μελλοντικές εργασίες. Ένας πράκτορας μπορεί να σχεδιάζει μόνος του ένα δείπνο και παρ’ όλα αυτά να χρειάζεται μηχανικό για να του μάθει έναν καλύτερο τρόπο σχεδιασμού.

Η ανασκόπηση αυτή δεν χρειάζεται να γίνεται μετά από κάθε αίτημα. Το σύστημα μπορεί να ξεκινά τη διαδικασία έπειτα από αρκετές παρόμοιες αποτυχίες ή να εξετάζει μια ημέρα εργασίας μέσα στη νύχτα. Η εξέταση πολλών εργασιών μαζί βοηθά να φανούν τα προβλήματα που επανέρχονται.

Η Wang λέει ότι η ευθύνη μπορεί να δοθεί σταδιακά στο σύστημα. Στην αρχή μπορεί να ερευνά προβλήματα και να δοκιμάζει αλλαγές, με έναν μηχανικό να εγκρίνει το αποτέλεσμα. Αργότερα μπορεί να κρατά μόνο του ορισμένες αλλαγές. Η ομάδα εξακολουθεί να αποφασίζει τι επιτρέπεται να αλλάξει, πόσο χρόνο ή χρήμα μπορεί να ξοδέψει σε πειραματισμούς και πότε πρέπει να παρέμβει άνθρωπος.

Στο τρίτο πεδίο, τα modules του harness, η Wang σημειώνει ότι πριν ξαναγραφούν οι οδηγίες, χρειάζεται να βρεθεί η αιτία μιας κακής απόφασης. Αν ο προϋπολογισμός ενός καλεσμένου δεν έφτασε ποτέ στο μοντέλο, η προτροπή να «προσέχει τον προϋπολογισμό» δεν αρκεί. Πρέπει να διορθωθεί ο τρόπος με τον οποίο φτάνει αυτή η πληροφορία στο μοντέλο.

Το ModularRSI χωρίζει το harness σε πέντε μέρη: διαχείριση πλαισίου, βρόχο του πράκτορα, χρήση εργαλείων, διαχείριση παρατηρήσεων και εντοπισμό ολοκλήρωσης της εργασίας. Μελετά τις αλλαγές σε κάθε μέρος ξεχωριστά πριν τις συνδυάσει. Έτσι γίνεται πιο καθαρό τι ακριβώς μπορεί να βελτιώσει ένας πράκτορας.

Πρώτη προτεραιότητα για την Wang είναι η διαχείριση πλαισίου. Αυτή καθορίζει τι πληροφορίες έχει το μοντέλο όταν παίρνει μια απόφαση, μαζί με το ποιες μνήμες φέρνονται στο τρέχον task. Η reflective memory σημαίνει ότι το σύστημα κοιτά πίσω σε ό,τι συνέβη και αποθηκεύει ένα μάθημα που μπορεί να βοηθήσει την επόμενη φορά.

Για τον σχεδιαστή δείπνου, αυτό το μάθημα μπορεί να είναι ότι πρέπει να ελέγχει πρώτα τον προϋπολογισμό και τις διατροφικές ανάγκες όλων πριν συγκρίνει εστιατόρια. Η μνήμη πρέπει να ξεχωρίζει το γενικό μάθημα από το στοιχείο που αφορά ένα συγκεκριμένο πρόσωπο. Το «έλεγξε τον προϋπολογισμό πριν προτείνεις εστιατόριο» μπορεί να βοηθήσει κάθε ομάδα. Το «αυτός ο καλεσμένος έχει προϋπολογισμό 25 δολάρια» αφορά ένα συγκεκριμένο άτομο και περίσταση. Χωρίς αυτό το πλαίσιο, ο πράκτορας μπορεί να χρησιμοποιήσει μια παλιά πληροφορία σε λάθος περίπτωση.

Η λεγόμενη dreaming διαδικασία είναι ένας τρόπος να αναθεωρούνται και να οργανώνονται οι μνήμες ανάμεσα στις συνεδρίες. Το σύστημα ξαναβλέπει προηγούμενες αλληλεπιδράσεις και όσα έχει ήδη αποθηκεύσει, συνδυάζει σχετικές παρατηρήσεις και κρατά τα χρήσιμα μαθήματα. Όταν οι μνήμες διαφωνούν, χρειάζεται να ελεγχθούν τα αρχικά στοιχεία πριν αποφασιστεί τι θα παραμείνει. Η λειτουργία Dreams της Anthropic, για παράδειγμα, παράγει ένα αναδιοργανωμένο σύνολο μνημών που μπορεί να ελεγχθεί πριν χρησιμοποιηθεί στις επόμενες συνεδρίες.

Αυτό που ζητά η Wang από το dreaming είναι ένα καλύτερο σημείο εκκίνησης για το επόμενο task. Ο πράκτορας θα πρέπει να βρίσκει το χρήσιμο μάθημα χωρίς να ξαναδιαβάζει όλη την προηγούμενη συζήτηση. Αυτό μπορεί να δοκιμαστεί συγκρίνοντας πώς χειρίζεται νέες εργασίες με παλιές και αναθεωρημένες μνήμες. Η νυχτερινή οργάνωση μνημών μετρά ως βελτίωση μόνο αν τα αποτελέσματα το επιβεβαιώνουν.

Ο πράκτορας μπορεί επίσης να βελτιώσει τον τρόπο με τον οποίο βρίσκει και οργανώνει μνήμες. Η αποθήκευση ενός μαθήματος μπορεί να βοηθήσει σε μελλοντική εργασία, αλλά η αλλαγή στον τρόπο με τον οποίο επιλέγονται τα μαθήματα μπορεί να βελτιώσει την αξιοποίηση πολλών μελλοντικών εμπειριών.

Τα υπόλοιπα τέσσερα modules επηρεάζουν τον τρόπο που δουλεύει ο πράκτορας: ο βρόχος του, η χρήση εργαλείων, η διαχείριση των παρατηρήσεων και ο εντοπισμός ολοκλήρωσης της εργασίας. Ο βρόχος του πράκτορα είναι το σημείο όπου σχεδιάζει, ενεργεί και αποφασίζει τι θα κάνει μετά. Θα μπορούσε να μάθει να αντιλαμβάνεται πότε επαναλαμβάνει μια ανεπιτυχή προσέγγιση και να δοκιμάζει άλλη.

Στη χρήση εργαλείων, μπορεί να προσθέσει ένα εργαλείο που χρειάζεται ή να αλλάξει τη διεπαφή ενός εργαλείου ώστε να χρησιμοποιείται σωστά πιο εύκολα. Στη διαχείριση παρατηρήσεων, μπορεί να αλλάξει τον τρόπο με τον οποίο συνοψίζει ένα αποτέλεσμα, ώστε να μη χαθεί μια σημαντική πληροφορία. Στον εντοπισμό ολοκλήρωσης της εργασίας, μπορεί να ελέγχει αν υπάρχει επιβεβαίωση ότι μια ενέργεια πέτυχε πριν πει στον χρήστη ότι τελείωσε.

Όλα αυτά τα μέρη λειτουργούν μαζί. Η αλλαγή ενός εργαλείου μπορεί να αλλάξει την πληροφορία που λαμβάνει ο πράκτορας και, άρα, την επόμενη απόφασή του. Η δοκιμή ενός μόνο module βοηθά να κατανοηθεί η αλλαγή. Η δοκιμή όλου του πράκτορα δείχνει αν τα μέρη εξακολουθούν να συνεργάζονται σωστά.

Η βελτίωση γίνεται αναδρομική όταν ο πράκτορας χρησιμοποιεί το ενημερωμένο harness για να περάσει στον επόμενο γύρο βελτίωσης. Αν αλλάξει, για παράδειγμα, τον τρόπο με τον οποίο αναζητά παλαιότερες εκτελέσεις για παραδείγματα αποτυχίας, την επόμενη φορά που θα προσπαθήσει να βελτιωθεί θα χρησιμοποιεί αυτή τη νέα μέθοδο αναζήτησης για να αποφασίσει τι θα ερευνήσει και θα δοκιμάσει. Μια αλλαγή από έναν γύρο επηρεάζει έτσι τον επόμενο.

Αυτό δίνει στον πράκτορα την ευκαιρία να γίνει καλύτερος τόσο στο να βρίσκει και να δοκιμάζει βελτιώσεις όσο και στο να εκτελεί το αρχικό του έργο. Κάθε γύρος χτίζει πάνω στις αλλαγές που διατηρήθηκαν από τους προηγούμενους. Για να φανεί αν αυτό βοηθά, πρέπει να ελεγχθεί αν οι επόμενοι γύροι παράγουν αλλαγές που λειτουργούν καλύτερα σε νέες εργασίες.

Η Wang καταλήγει ότι θέλει έναν πράκτορα που χρειάζεται λιγότερες επαναλαμβανόμενες διορθώσεις, επειδή έχει μάθει καλύτερο τρόπο να κάνει τη δουλειά του. Το ζητούμενο είναι να μπορεί να φαίνεται καθαρά τι έμαθε, τι άλλαξε και πώς ελέγχθηκε ότι η αλλαγή βοήθησε. Τότε μπορεί να φανεί αν το μάθημα αυτό αντέχει όταν ο πράκτορας έχει μπροστά του μια νέα εργασία.

Πηγή: oreilly.com.