Τελειώνουν τα agent harnesses; Τι αλλάζει με το harness distillation

Το harness distillation μπορεί να μεταφέρει γενικά μοτίβα συμπεριφοράς σε ένα μοντέλο, αλλά ο πυρήνας του harness παραμένει ό,τι συνδέεται με τα εργαλεία, τα δεδομένα, τους χρήστες και το περιβάλλον του, γράφει ο Laurie Voss στο The Arize Blog, σε άρθρο που αναδημοσιεύτηκε στις 27 Οκτωβρίου 2026.

Κάθε φορά που μοιάζει πως η τεχνητή νοημοσύνη έχει μπει σε μια σειρά, κάτι άλλο κηρύσσεται «νεκρό». Αυτή τη φορά, στο επίκεντρο βρίσκονται τα agent harnesses.

Ο Voss θυμίζει ότι τον Ιούνιο είχε γράψει πως «τα frameworks πεθαίνουν, τα harnesses κερδίζουν», θέση που εξακολουθεί να υποστηρίζει. Όμως τώρα μια ερευνητική ομάδα πήρε ένα εξειδικευμένο agent harness, εκπαίδευσε τη συμπεριφορά του μέσα σε ένα μοντέλο και στη συνέχεια αφαίρεσε το ίδιο το harness. Το εκπαιδευμένο μοντέλο ξεπέρασε το αρχικό μοντέλο μαζί με το harness του.

Η απάντηση, όπως γράφει, είναι «όχι». Τα harnesses δεν τελειώνουν. Ο ρόλος τους, όμως, αλλάζει. Όσα στοιχεία τους μπορούν να γενικευτούν, μπορούν να «μεταφερθούν» στο μοντέλο. Έτσι, το harness μένει να χειρίζεται τα μέρη που κάνουν μια εφαρμογή μοναδική: τα εργαλεία, τα δεδομένα, τους χρήστες και το περιβάλλον. Το αποτέλεσμα είναι ότι το harness χρειάζεται να ξαναχτίζεται συχνά, ώστε να ακολουθεί την εξέλιξη των μοντέλων.

Το παράδειγμα που περιγράφει προέρχεται από το άρθρο «Harness-Zero», των Haoran Ye και συνεργατών του από το Peking University. Εκεί εξετάζεται το harness distillation, δηλαδή η εκπαίδευση ενός μοντέλου ώστε να αναπαράγει συμπεριφορά που παλιότερα προέκυπτε από το harness.

Η ομάδα έφτιαξε αρχικά ένα εξειδικευμένο harness για ένα μικρό μοντέλο, το Qwen3.5-9B. Ένας αυτοματοποιημένος βρόχος, με το Kimi K3, εντόπισε πού αποτύγχανε συστηματικά το μοντέλο και πρόσθεσε τα συνηθισμένα στοιχεία που χρειάζονταν για να διορθωθούν αυτά τα λάθη: προσαρμοσμένα εργαλεία, κανόνες middleware που μπλοκάρουν επικίνδυνες ενέργειες, αρχεία δεξιοτήτων και μνήμη. Αυτό ονομάστηκε «evolved harness».

Στη συνέχεια, το harness αυτό χρησιμοποιήθηκε για τη δημιουργία δεδομένων εκπαίδευσης. Το μικρό μοντέλο δοκιμάστηκε μέσα σε ένα ελάχιστο harness σε εκπαιδευτικές εργασίες, ενώ ένα ισχυρότερο μοντέλο, το GPT-5.6 Sol, έλεγχε κάθε βήμα που πρότεινε. Το Sol χρησιμοποιούσε αντίγραφο του evolved harness για να κρίνει αν το βήμα ήταν σωστό. Όταν η πρόταση ήταν καλή, την άφηνε ως είχε. Όταν υπήρχε διαφωνία, έκανε τη μικρότερη δυνατή διόρθωση πριν εκτελεστεί το βήμα.

Έτσι συγκεντρώθηκαν διαδρομές εκπαίδευσης και, κυρίως, δεδομένα για το τι χρειαζόταν διόρθωση. Στη συνέχεια, το μικρό μοντέλο βελτιστοποιήθηκε πάνω σε αυτές τις διορθωμένες εκτελέσεις και το evolved harness απομακρύνθηκε μαζί με τον αξιολογητή και τα υπόλοιπα στοιχεία.

Στις δοκιμές που ακολούθησαν, το distilled model συγκρίθηκε απευθείας με το harnessed version σε επεξεργασία υπολογιστικών φύλλων, χρήση εργαλείων σε πολλαπλές εφαρμογές και χημεία. Η μέση επιτυχία του μοντέλου αυξήθηκε κατά 21 μονάδες σε σχέση με τον αρχικό, μη εκπαιδευμένο προκάτοχό του. Η επίδοση αυτή ήταν υψηλότερη από ό,τι κατάφερε το ίδιο μοντέλο με το πλήρες evolved harness.

Το distilled model, όμως, δεν λειτούργησε χωρίς harness. Παρέμεινε μέσα σε έναν ελάχιστο βρόχο με ένα εργαλείο Bash, και οι συγγραφείς αναγνωρίζουν ότι η μέθοδός τους περιορίζει όσα πρέπει να παρέχει ένα harness, χωρίς να το καταργεί πλήρως. Δεν κέρδισε επίσης σε όλα: στη χημεία, όπου η εργασία ήταν η πρόβλεψη ποια μόρια συνδυάζονται για να παραχθεί μια στοχευμένη ένωση, υστέρησε κατά οκτώ μονάδες από την έκδοση με harness. Εκεί το harness παρείχε γνώσεις χημείας, λογική παραγωγής υποψηφίων και εργαλείο επαλήθευσης μορίων.

Ο Voss ξεχωρίζει ως βασικό εύρημα το ότι η διαφορά προήλθε από την εκπαίδευση σε διορθωμένες εκτελέσεις. Αυτό δείχνει, όπως σημειώνει, ποιο είδος εκπαίδευσης κάνει τη διαφορά.

Στο άρθρο συνδέει αυτό το συμπέρασμα με το «The Bitter Lesson» του Rich Sutton, ο οποίος το 2019 υποστήριξε ότι σε τομείς όπως το σκάκι, το Go, η αναγνώριση ομιλίας και η υπολογιστική όραση, τα συστήματα που ενσωμάτωναν χειροποίητη γνώση τελικά ξεπεράστηκαν από γενικές μεθόδους αναζήτησης και μάθησης. Σε αυτό το πλαίσιο, το harness λειτουργεί ως ενσωματωμένη γνώση, ενώ η εκπαίδευση του μοντέλου είναι ο μηχανισμός που μπορεί να την απορροφήσει.

Πιο πρόσφατα, γράφει, ακούγεται όλο και πιο συγκεκριμένα ότι «τα μοντέλα θα καταπιούν το harness». Όσοι φτιάχνουν harnesses δεν υποστηρίζουν ότι θα εξαφανιστούν, αλλά ότι πρέπει να εξελίσσονται γρήγορα.

Υπάρχουν πάντως στοιχεία που δεν φαίνεται να μεταφέρονται εύκολα. Στα αποτελέσματα του ARC Prize για το ARC-AGI-3, το Gemini 3.8 Flash βαθμολογείται 3,4 φορές υψηλότερα με ένα harness από ό,τι με ένα άλλο. Το καλύτερο harness διατηρεί την κατάσταση του συλλογισμού ανάμεσα στα αιτήματα και συμπτύσσει τις μεγάλες συνομιλίες. Αυτή είναι η διαχείριση συμφραζομένων, ένα από τα σημεία που το Harness-Zero δεν κατάφερε να εκπαιδεύσει πλήρως.

Αντίστοιχα, ο οδηγός prompting του Anthropic για το Opus 5.5 δείχνει ότι κάποια μέρη του harness μικραίνουν. Προτείνει να αφαιρούνται οι οδηγίες του τύπου «σκέψου προσεκτικά», επειδή το μοντέλο ορίζει πλέον μόνο του πόσο θα σκεφτεί, και ζητά επανέλεγχο των στοιχείων που είχαν σχεδιαστεί για γραφήματα και στιγμιότυπα οθόνης, καθώς το μοντέλο τα διαβάζει καλύτερα χωρίς αυτή τη βοήθεια. Την ίδια στιγμή, όμως, το Anthropic πρόσθεσε νέα στοιχεία: μια παράγραφο system prompt που εμποδίζει τους αυτόνομους πράκτορες να σταματούν πρόωρα, μια υπενθύμιση που στέλνει το harness όταν μια μακρά εκτέλεση μένει σιωπηλή και όρια χρόνου για σενάρια με πολλαπλούς πράκτορες.

Το συμπέρασμα είναι ότι τα harnesses δεν θα συρρικνωθούν σε τίποτα. Ό,τι παραμένει μέσα τους θα πρέπει να εξελίσσεται μαζί με κάθε νέα γενιά μοντέλων, ενώ όσα επιβιώνουν είναι εκείνα που συνδέονται με τα συγκεκριμένα εργαλεία, τα δεδομένα και το περιβάλλον κάθε εφαρμογής.

Για το πώς μπορεί να γίνει αυτό, ο Voss αναφέρεται σε εργασία της Google για το RRSI, η οποία δείχνει πώς η ανεξέλεγκτη αυτόματη εξέλιξη harness οδηγεί σε υπερπροσαρμογή. Δηλαδή, το harness γίνεται καλύτερο στις δοκιμές πάνω στις οποίες εκπαιδεύτηκε, χωρίς να βελτιώνεται πραγματικά στη γενική του αποστολή. Στις δοκιμές τους, η ανεξέλεγκτη εκδοχή σημείωσε την καλύτερη επίδοση από κάθε άλλη παραλλαγή στα ίδια tasks και έμεινε μόλις μία μονάδα μακριά από το αρχικό, μη εξελιγμένο harness σε benchmarks που δεν είχε δει.

Η λύση του RRSI είναι κυρίως διαδικαστική. Για κάθε πιθανή αλλαγή καταγράφει ποιο στοιχείο αγγίζει, τι προσπαθούσε να διορθώσει, το diff, πώς κινήθηκαν η βαθμολογία και το κόστος και αν η αλλαγή κράτησε. Όσα στοιχεία σταματούν να δίνουν κέρδος, αφαιρούνται.

Στο πρακτικό επίπεδο, ο Voss λέει πως δεν χρειάζεται απαραίτητα ένας πλήρως αυτοματοποιημένος βρόχος εξέλιξης για να ακολουθήσει κανείς αυτή τη λογική. Αν τα traces βρίσκονται στο Arize AX, μπορούν να τρέχουν οι ίδιες αξιολογήσεις πάνω σε διαφορετικές εκδόσεις harness και μοντέλου και να συγκρίνονται τα αποτελέσματα δίπλα δίπλα.

Το συμπέρασμα είναι σαφές: το harness δεν πρέπει να διαγράφεται, αλλά καμία εκδοχή του δεν πρέπει να θεωρείται τελική. Χρειάζεται να μένει καταγεγραμμένο τι διόρθωσε, να αποσύρονται όσα κάνει ήδη το νέο μοντέλο χωρίς βοήθεια και να δίνεται προτεραιότητα στα μέρη που είναι πραγματικά ειδικά για το πρόβλημα, αφού κανείς άλλος δεν διαθέτει τα traces για να τα εκπαιδεύσει σε μοντέλο αντί για εσάς.