Μελέτη της Anthropic: οι συστάσεις του Claude καθοδηγούν αποφάσεις ειδικών στο 86%

Οι συμμετέχοντες σε πείραμα της Anthropic ακολούθησαν τις συστάσεις του Claude στο 86% των περιπτώσεων, παρότι οι προτιμήσεις του πράκτορα είχαν οριστεί τυχαία από τους ερευνητές. Η εταιρεία περιγράφει τα ευρήματα σε ανάρτηση και ερευνητική εργασία.

Στη μελέτη, 50 άτομα κλήθηκαν να κάνουν μια απλή στατιστική ανάλυση με το Claude Code, υποδυόμενα το διοικητικό συμβούλιο ενός φανταστικού αγροτικού συνεταιρισμού. Έπρεπε να αποφασίσουν αν θα επεκτείνουν ή θα καταργήσουν ένα επί πληρωμή πρόγραμμα συμβουλευτικής, λαμβάνοντας τέσσερις επιμέρους αποφάσεις, μεταξύ των οποίων η στάθμιση ψήφου μικρών και μεγάλων αγροκτημάτων. Όλοι είχαν προηγούμενη εμπειρία στη συναγωγή αιτιωδών συμπερασμάτων.

Αυτό που αγνοούσαν ήταν ότι το Claude δεν λειτουργούσε ως αμερόληπτος βοηθός: οι ερευνητές του έδωσαν κρυφά εντολές να προτιμά κάθε φορά μία από δύο επιλογές, έπειτα από ρίψη νομίσματος. Αν δεν υπήρχε επιρροή, θα αναμενόταν ταυτοσημία με τις τελικές επιλογές περίπου στο 50%.

Αντί γι’ αυτό, οι συμμετέχοντες ευθυγραμμίστηκαν με τις συστάσεις στο 86% των περιπτώσεων. Όταν είχαν ήδη αποφασίσει διαφορετικά και το Claude πρότεινε το αντίθετο, άλλαξαν γνώμη στο 60%. Η συσχέτιση ήταν τόσο ισχυρή, ώστε δημιουργήθηκε μοντέλο που προέβλεπε με ακρίβεια το 82% των τελικών αποφάσεων. «Έτσι, μπορούσαμε σε μεγάλο βαθμό να προβλέψουμε τι θα πρότεινε ένας αναλυτής μόνο από τις ρίψεις του νομίσματος, προτού καν ξεκινήσει την εργασία», έγραψε η εταιρεία σε σχετική ανάρτηση.

Το επόμενο εύρημα ήταν ακόμη πιο ανησυχητικό: σε συμπληρωματική έρευνα, το 77% εξήγησε τις τελικές του αποφάσεις αναπαράγοντας τη συλλογιστική του Claude, σε ορισμένες περιπτώσεις αυτολεξεί. Μόνο το 15% αναγνώρισε ότι επηρεάστηκε από τον πράκτορα. Έξι άτομα αντιλήφθηκαν σωστά τον σκοπό της μελέτης, αλλά κανείς δεν υποψιάστηκε ότι οι απαντήσεις είχαν καθοριστεί με ρίψη νομίσματος.

Στο πλαίσιο αυτό, η γνωστή «μεροληψία υπέρ του αυτοματισμού» (automation bias) αποκτά νέο βάθος. Προηγούμενη μελέτη του MIT είχε δείξει ότι ακόμη και η απλή θέαση εικόνων που παράγονται από τεχνητή νοημοσύνη μπορεί να αλλοιώσει τη μνήμη.

Οι ερευνητές προειδοποιούν για τις επιπτώσεις καθώς οι πράκτορες τεχνητής νοημοσύνης υιοθετούνται σε κλάδους όπως η ιατρική, τα χρηματοοικονομικά και η άμυνα, αλλά και στην ίδια την έρευνα ασφάλειας και ευθυγράμμισης, η οποία συχνά βασίζεται σε πράκτορες που εξετάζουν απομαγνητοφωνημένα ίχνη συλλογιστικής (chain-of-thought) άλλων συστημάτων. «Εάν οι ειδικοί εκχωρούν τις κρίσεις τους σε συστήματα τεχνητής νοημοσύνης των οποίων οι αρχικές παραδοχές ενδέχεται να είναι αυθαίρετες ή ακόμη και ασύμβατες με τους στόχους τους, αυτές οι παραδοχές θα μπορούσαν να διαμορφώνουν την επιστημονική πρόοδο και τις πολιτικές αποφάσεις χωρίς να τις έχει επιλέξει κανείς», αναφέρει η Anthropic στην ερευνητική της εργασία.

Εάν η λήψη αποφάσεων ανατεθεί σε λίγους πράκτορες, οι ενσωματωμένες μεροληψίες τους μπορεί να διαμορφώνουν ολοένα και περισσότερο τα συστήματα πεποιθήσεων. «Η φαινομενική συναίνεση μπορεί τότε να αντανακλά τις αρχικές παραδοχές του μοντέλου και όχι ανεξάρτητες κρίσεις, ενώ η ίδια μεροληψία θα επηρεάζει ταυτόχρονα πολλά αποτελέσματα», σημειώνουν οι ερευνητές.

«Πρόκειται για μια από τις σημαντικότερες μελέτες στις κοινωνικές επιστήμες σχετικά με την αλληλεπίδραση ανθρώπων και τεχνητής νοημοσύνης που έχω δει εδώ και αρκετό καιρό», ανέφερε σε ανάρτηση στο X ο Άλεξ Ίμας, καθηγητής Συμπεριφορικής Επιστήμης και Οικονομικών στο Booth School of Business του Πανεπιστημίου του Σικάγο και διευθυντής του τομέα Οικονομικών της Γενικής Τεχνητής Νοημοσύνης (AGI Economics) στην Google DeepMind, σχολιάζοντας τη μελέτη.

Οι ίδιοι οι ερευνητές αναγνωρίζουν περιορισμούς: το πείραμα έγινε υπό ελεγχόμενες συνθήκες, ενώ οι συμμετέχοντες, αν και έμπειροι στην αιτιώδη ανάλυση, δεν είχαν εμπειρία από αγροτικές αποφάσεις. Πραγματικοί αγρότες ή μέλη διοικητικών συμβουλίων συνεταιρισμών ίσως να ήταν λιγότερο πρόθυμοι να ακολουθήσουν τις συστάσεις του Claude.

Η εξάπλωση ισχυρών πρακτόρων τεχνητής νοημοσύνης προχωρά ταχύτερα από την επιστημονική κατανόηση των μηχανισμών λήψης αποφάσεων. Η υπενθύμιση είναι σαφής: όταν αλληλεπιδρούμε με chatbots, ο τρόπος σκέψης μας μπορεί να επηρεάζεται ακόμη κι αν δεν το αντιλαμβανόμαστε, και οι αποφάσεις μας σπάνια είναι απολύτως ανεπηρέαστες.

Πηγή: share.google.