Η τεχνητή νοημοσύνη υπό έλεγχο: όρια στους agents και έρευνα αξιοπιστίας
Η τεχνητή νοημοσύνη επεκτείνεται στην καθημερινή εργασία, αλλά οι επιχειρήσεις βάζουν όρια στους αυτόνομους agents και οι ερευνητές στρέφονται στην αξιοπιστία των μοντέλων, σύμφωνα με το This Week in AI των Christina Stathopoulos και Michelle Smith, στις 20 Νοεμβρίου 2026.
Η αυξανόμενη παρουσία της AI στις επιχειρήσεις αναδεικνύει προβλήματα που δεν λύνονται μόνο με νέα μοντέλα. Στο τελευταίο επεισόδιο του This Week in AI εξετάστηκαν οι περιορισμοί στους autonomous agents, η κρίση ηγεσίας στη NVIDIA και η έρευνα για πιο αξιόπιστα συστήματα τεχνητής νοημοσύνης.
Στο πεδίο του agentic commerce, η Anthropic προχωρά σε μια ευρύτερη πλατφόρμα για τον χώρο εργασίας γύρω από το Claude. Μαζί με τα αναβαθμισμένα μοντέλα Fable 5.2 και Mythos 5.2, παρουσίασε τα Claude Meetings και Claude Sheets, Whiteboards και Data. Παράλληλα, διεύρυνε τις enterprise υπηρεσίες της με self-hosted agent infrastructure.
Με αυτό το σχήμα, οι εταιρείες μπορούν να συνδέουν agents με εσωτερικά συστήματα, κρατώντας τα διαπιστευτήρια και το ιστορικό συνεδριών στην υποδομή τους, παρότι τα μοντέλα εξακολουθούν να λειτουργούν μέσω εξωτερικού παρόχου.
Η OpenAI φέρνει επίσης περισσότερο από τη διαδικασία αγορών μέσα στο ChatGPT. Τα νέα business profiles επιτρέπουν στις εταιρείες να διαχειρίζονται τον τρόπο με τον οποίο τις ανακαλύπτουν οι πελάτες, ενώ οι business agents μπορούν να απαντούν σε ερωτήσεις και να προτείνουν προϊόντα. Η εταιρεία παρουσίασε και το ChatGPT Wallet, που επιτρέπει στους agents να κάνουν αγορές χωρίς να έχουν πρόσβαση στα πραγματικά στοιχεία της κάρτας πληρωμής των πελατών. Οι χρήστες πρέπει ακόμη να ελέγχουν και να εγκρίνουν αυτές τις συναλλαγές πριν από την πληρωμή.
Η μεταφορά της ανακάλυψης επιχειρήσεων και των πληρωμών μέσα στο ChatGPT φέρνει την OpenAI σε πιο άμεσο ανταγωνισμό με τις μηχανές αναζήτησης και τα online marketplaces.
Την ίδια ώρα, αεροπορικές εταιρείες, τράπεζες και λιανεμπορικές επιχειρήσεις περιορίζουν ήδη την πρόσβαση εξωτερικών agents. Η United Airlines μπλοκάρει μη εξουσιοδοτημένους agents από το να κλείνουν εισιτήρια, ενώ χρηματοπιστωτικοί οργανισμοί και retailers, μεταξύ αυτών η Amazon και η eBay, έχουν επιβάλει δικούς τους περιορισμούς. Οι ανησυχίες αφορούν την ιδιωτικότητα, την ασφάλεια και τις ακούσιες αγορές.
Ένας agent μπορεί τεχνικά να ολοκληρώνει μια συναλλαγή, αλλά να μην επιτρέπεται να έχει πρόσβαση στην υπηρεσία. Οι προγραμματιστές θα πρέπει να λάβουν υπόψη αυτούς τους περιορισμούς, ενώ οι επιχειρήσεις που επιτρέπουν τέτοιες συναλλαγές θα πρέπει να ορίσουν ποιος φέρει την ευθύνη όταν ένας agent κάνει μια ακούσια αγορά.
Στη NVIDIA, η αλλαγή ηγεσίας συνοδεύεται από ερωτήματα για τη διακυβέρνηση. Ο ιδρυτής Jensen Huang παραιτήθηκε από CEO μετά από αναφορές για προσωπικές σχέσεις που οδήγησαν σε έρευνα για πιθανές ανησυχίες εθνικής ασφάλειας. Οι αμερικανικές αρχές εξετάζουν αν μια Κινέζα επιχειρηματίας που εμπλέκεται στην υπόθεση είχε δεσμούς πληροφοριών με το Πεκίνο. Οι σχετικές κατηγορίες παραμένουν μη αποδεδειγμένες.
Το διοικητικό συμβούλιο της NVIDIA ξεκίνησε τη δική του έρευνα και η επί χρόνια οικονομική διευθύντρια Colette Kress ανέλαβε ως υπηρεσιακή CEO, όσο η εταιρεία αναζητά μόνιμο διάδοχο.
Η επιρροή της NVIDIA στην αγορά των AI chips κάνει την αλλαγή αυτή ιδιαίτερα σημαντική για πελάτες και επενδυτές. Ο Huang ηγήθηκε της εταιρείας για 33 χρόνια και βοήθησε να διαμορφωθεί η κυρίαρχη θέση της στις υποδομές AI. Τώρα, η Kress και το διοικητικό συμβούλιο καλούνται να διατηρήσουν την εμπιστοσύνη των πελατών, ενώ η έρευνα συνεχίζεται.
Συζητήθηκαν επίσης οι επενδύσεις της NVIDIA σε άλλες εταιρείες AI και οι κυκλικές χρηματοδοτικές συμφωνίες που έχουν προκαλέσει ανησυχίες για τον τρόπο μέτρησης της ανάπτυξης στον κλάδο. Τυχόν αλλαγές σε αυτές τις επενδύσεις θα μπορούσαν να επηρεάσουν εταιρείες που βασίζονται στη NVIDIA τόσο για υποδομή υπολογιστικής ισχύος όσο και για κεφάλαιο.
Η μετάβαση στην ηγεσία της NVIDIA θέτει επίσης ερωτήματα για τη διαδοχή σε τεχνολογικές εταιρείες που χτίστηκαν γύρω από τον ιδρυτή τους. Μετά από τρεις δεκαετίες με τον Huang στο τιμόνι, το διοικητικό συμβούλιο καλείται να δείξει ότι μπορεί να ασκήσει ανεξάρτητη εποπτεία και να κρατήσει την πορεία της εταιρείας σε περίοδο αβεβαιότητας. Ο τρόπος με τον οποίο θα διαχειριστεί αυτή τη μετάβαση μπορεί να δώσει μαθήματα και για άλλες εταιρείες AI που παραμένουν στενά δεμένες με τους ιδρυτές τους.
Στο ερευνητικό πεδίο, νέα μελέτη έδειξε ότι η παροχή μνήμης σε AI agents για προηγούμενες εργασίες μπορεί να μειώσει την απόδοσή τους σε σχέση με το να μην έχουν μνήμη, όταν μαθαίνουν λάθος μάθημα ή εφαρμόζουν παλιές εμπειρίες εκτός πλαισίου. Το προτεινόμενο σύστημα WikiTrace συνδέει τις μνήμες με την αρχική εργασία και τα αποδεικτικά στοιχεία, ώστε οι agents να ελέγχουν τι έχουν μάθει πριν ενεργήσουν.
Άλλοι ερευνητές εξετάζουν πώς μπορεί να ανιχνευθεί η αβεβαιότητα στα language models μέσω εσωτερικών σημάτων, κρυφών καταστάσεων, πιθανοτήτων token και του κατά πόσο το μοντέλο δίνει αντικρουόμενες απαντήσεις στην ίδια ερώτηση. Αυτό έχει σημασία, γιατί η AI μπορεί να ακούγεται βέβαιη ακόμη κι όταν κάνει λάθος. Αν εντοπίζεται πότε ένα μοντέλο δεν είναι σίγουρο, θα μπορούσε να ζητείται να ελέγχει την απάντησή του ή να αναγνωρίζει την αβεβαιότητά του.
Ερευνητές του MIT εξέτασαν επίσης το weight-space programming, δηλαδή τη χρήση language models για την επιθεώρηση και την επεξεργασία των βαρών άλλων νευρωνικών δικτύων. Σε πρώιμα πειράματα, η προσέγγιση διόρθωσε ένα προσομοιωμένο πρόβλημα οδήγησης εκτός Γης και βελτίωσε τις επιδόσεις ενός άλλου μοντέλου στα μαθηματικά.
Οι βαθμολογίες των benchmark από μόνες τους δεν εξηγούν γιατί οι agents κάνουν λάθος με τις μνήμες, γιατί ακούγονται βέβαιοι ενώ δεν είναι ή γιατί αποτυγχάνουν σε συγκεκριμένες εργασίες. Η έρευνα σε αυτά τα ζητήματα μπορεί να δώσει στους developers καλύτερους τρόπους για να διαγνώσουν και να διορθώσουν λάθη, καθώς τα συστήματα AI αναλαμβάνουν περισσότερη ευθύνη.
Πηγή: oreilly.com.
Το κείμενο δημιουργήθηκε από GPT 5.0. Δείτε τα AI Editorial Guidelines.




