Υπάρχει αυξανόμενο ενδιαφέρον για το πώς τα μεγάλα γλωσσικά μοντέλα (LLMs) μπορούν να προωθήσουν την κοινωνική και συμπεριφορική επιστήμη. Προηγούμενες έρευνες έχουν εξετάσει την ικανότητα των LLMs να προβλέπουν απαντήσεις σε έρευνες, αλλά λιγότερα είναι γνωστά για το αν μπορούν να προβλέψουν τα αποτελέσματα πειραμάτων στις κοινωνικές επιστήμες, ιδίως όταν αυτά λείπουν από τα δεδομένα εκπαίδευσης.
Σε μελέτη που δημοσιεύεται στο Nature (2026), οι ερευνητές δημιούργησαν ένα αρχείο 70 προεγγεγραμμένων, εθνικά αντιπροσωπευτικών πειραμάτων έρευνας στις ΗΠΑ, με 469 πειραματικά αποτελέσματα και 119.330 συμμετέχοντες. Ζήτησαν από ένα LLM να προσομοιώσει πώς αντιπροσωπευτικά δείγματα Αμερικανών θα ανταποκρίνονταν σε πειραματικά ερεθίσματα και υπολόγισαν τα αποτελέσματα παρέμβασης συγκρίνοντας τις προσομοιωμένες απαντήσεις μεταξύ συνθηκών.
Οι προβλέψεις από το GPT-4, του οποίου το όριο εκπαίδευσης προηγήθηκε της δημοσίευσης πολλών μελετών στο αρχείο, εμφάνισαν ισχυρή συσχέτιση με τα πραγματικά αποτελέσματα παρέμβασης, με ακρίβεια αντίστοιχη με συνδυασμένες ανθρώπινες προβλέψεις. Οι συσχετίσεις παρέμειναν υψηλές για μελέτες που δεν είχαν δημοσιευθεί ή αναρτηθεί δημόσια έως την καταληκτική ημερομηνία εκπαίδευσης του μοντέλου, καθώς και για προβλέψεις από εξέχοντα μοντέλα ανοικτών βαρών. Παρά τις υψηλές συσχετίσεις, οι προβλέψεις υπερεκτιμούσαν συστηματικά τα μεγέθη επίδρασης.
Σε ένα δευτερεύον αρχείο 15 megastudies με 606 αποτελέσματα, οι συσχετίσεις ήταν χαμηλότερες αλλά συγκρίσιμες με εκείνες των συνδυασμένων προβλέψεων ειδικών. Για να αποτιμήσουν τις επιπτώσεις στην επιστημονική πρακτική, οι ερευνητές έκαναν έρευνα σε 460 κοινωνικούς επιστήμονες για πιθανούς τρόπους χρήσης και αντιλαμβανόμενους κινδύνους και αξιοποίησαν τα αρχεία για να εξετάσουν εφαρμογές (πιλοτικές δοκιμές, επιλογή παρεμβάσεων, εντοπισμός αποτελεσμάτων που χρειάζονται αναπαραγωγή) και κινδύνους (μεροληψία, κακή χρήση).
Συνολικά, τα ευρήματα υποδεικνύουν ότι τα LLMs μπορούν να ενισχύσουν τις πειραματικές μεθόδους στην επιστήμη και την πράξη, θέτοντας ταυτόχρονα σημαντικά ζητήματα υπεύθυνης χρήσης.
Όλα τα δεδομένα που χρησιμοποιήθηκαν στη μελέτη είναι διαθέσιμα στο https://codeocean.com/capsule/9843791/tree/v1. Όλα τα υλικά της μελέτης βρίσκονται στα Συμπληρωματικά Υλικά. Τα πρωτογενή δεδομένα παρέχονται με το άρθρο.
Ο κώδικας για την αναπαραγωγή των αποτελεσμάτων είναι διαθέσιμος στο https://codeocean.com/capsule/9843791/tree/v1. Οι ερευνητές προσκαλούν το κοινό να δοκιμάσει το μοντέλο στο web demo (https://treatmenteffect.app/), το οποίο δημιουργεί προβλέψεις πειραματικών αποτελεσμάτων με τη μεθοδολογία που περιγράφεται στο άρθρο.
