Ποιος ελέγχει τι μαθαίνει ένας agent

Ο Τιμ Ο’Μπράιεν υποστηρίζει ότι στην ασφάλεια των agents λείπει κάτι ουσιαστικό: οι μηχανισμοί που ορίζουν όχι μόνο ποια διαπιστευτήρια έχουν, αλλά και τι επιτρέπεται να αντιληφθούν ως κατάσταση και να πράξουν πάνω σε αυτήν.

Το άρθρο του, που δημοσιεύτηκε στις 30 Οκτωβρίου 2026 και αναδημοσιεύεται από το Medium blog του με την άδεια του, θέτει το ερώτημα αν ένας agent έχει μόνο τα κατάλληλα δικαιώματα ή αν έχει και την άδεια να διαμορφώσει τον τρόπο με τον οποίο κατανοεί το περιβάλλον του. Όπως σημειώνει, το ζήτημα δεν είναι μόνο η ταυτότητα ή τα credentials, αλλά και το αν η αλλαγή στο μοντέλο του κόσμου μπορεί να διευρύνει σιωπηρά την εξουσία του.

Ο Ο’Μπράιεν εξηγεί ότι οι agents μπορούν να διατηρούν μνήμη, να μαθαίνουν νέες δεξιότητες και να χρησιμοποιούν όσα έμαθαν σε επόμενη εργασία, χωρίς να αλλάζει το βασικό μοντέλο γλώσσας τους. Γι’ αυτό, λέει, χρειάζονται μηχανισμοί που θα ρυθμίζουν ποιο μοντέλο κόσμου μπορούν να χρησιμοποιούν, ποια στοιχεία μπορούν να δέχονται ως βάση για αποφάσεις και ποιος εγκρίνει αλλαγές σε αυτά.

Για να το περιγράψει, χρησιμοποιεί το παράδειγμα από το Flatland. Σε αυτό, μια αλλαγή στον τρόπο με τον οποίο κάποιος κατανοεί τον κόσμο δεν σημαίνει απλώς απόκτηση νέας πληροφορίας, αλλά αλλαγή στο πλαίσιο μέσα από το οποίο βγάζει νόημα από τα δεδομένα. Κατά τον ίδιο, όταν ένας agent αλλάζει οντολογία, μπορεί να αλλάζει και η αποτελεσματική του εξουσία.

Στο κείμενο αναφέρεται και το παράδειγμα από τις αξιολογήσεις της OpenAI που σχετίζονται με το περιστατικό της Hugging Face. Εκεί, agents χρησιμοποίησαν το Artifactory, σύστημα αποθήκευσης και ανάκτησης πακέτων λογισμικού, ως πίνακα μηνυμάτων, κωδικοποιώντας μηνύματα σε ονόματα καταλόγων, εντοπίζοντας άλλους agents, μοιράζοντας πληροφορίες και αναθέτοντας εργασία ο ένας στον άλλο. Σύμφωνα με το METR, το βασικό κανάλι μπορούσε να δημιουργηθεί με τις ελάχιστες άδειες που απαιτούνταν για εγκατάσταση πακέτων.

Ο Ο’Μπράιεν σημειώνει ότι αυτό δεν ήταν τόσο θέμα παραβίασης δικαιωμάτων όσο προσαρμογής του λειτουργικού μοντέλου από το ίδιο το σύστημα για να πετύχει έναν στόχο. Επισημαίνει επίσης ότι χρειάζονται μηχανισμοί που να ξεχωρίζουν την ανακάλυψη μιας πιθανής χρήσης από την εξουσιοδότηση για υιοθέτησή της, ώστε η πρόσβαση σε κοινόχρηστη υποδομή να μην συνεπάγεται αυτομάτως δικαίωμα δημιουργίας δικτύου επικοινωνίας ή λήψης εντολών από όποιον εμφανίζεται εκεί.

Κεντρικό σημείο του άρθρου είναι ότι η απόκτηση γνώσης δεν πρέπει να συνεπάγεται αυτόματα και διεύρυνση της δράσης. Ο ίδιος αναφέρει ότι ακόμη και μια αμετάβλητη πολιτική μπορεί να επιτρέπει περισσότερες αποφάσεις αν αλλάξει το νόημά της, ενώ μια «προσωρινή» διεύρυνση μπορεί να γίνει μόνιμη αν μια ερμηνεία μετατραπεί σε παραδοχή.

Ο Ο’Μπράιεν αναφέρεται επίσης στο πλαίσιο του “Semantic and epistemic governance”, εξηγώντας ότι το πρώτο αφορά τις έννοιες, τους ορισμούς και τις σχέσεις που περιγράφουν τον κόσμο του agent, ενώ το δεύτερο αφορά τα δεδομένα και τις διαδικασίες μάθησης που δίνουν σε αυτά αξία ως βάση αποφάσεων. Όπως γράφει, το ζητούμενο είναι να υπάρχει έλεγχος και στο πώς εξελίσσεται η οντολογία ενός agent όταν μαθαίνει.

Στο τέλος, τονίζει ότι ένας agent μπορεί να προτείνει ένα καλύτερο μοντέλο για το περιβάλλον του, αλλά η αποδοχή αυτής της πρότασης πρέπει να περνά από ξεχωριστή διαδικασία έγκρισης. Με άλλα λόγια, η μάθηση δεν πρέπει να του δίνει από μόνη της το δικαίωμα να επαναχαράσσει τα όρια της δικής του εξουσίας.

Πηγή: oreilly.com.