Το ChatGPT σημείωσε υψηλότερη βαθμολογία σε ένα ιατρικό κουίζ από έναν γιατρό

Τι θα γινόταν αν μια τεχνητή νοημοσύνη απαντούσε σε ερωτήσεις που υποβάλλονται κανονικά σε έναν γιατρό και το έκανε με τρόπο που να μεταδίδει γνώση και άνεση;

Αυτό το ερώτημα έδωσε το έναυσμα για μια πρόσφατη μελέτη με επικεφαλής το Πανεπιστήμιο της Καλιφόρνια. Η μελέτη εξέτασε την ενσυναισθητική ικανότητα απάντησης των ιατρών και του chatbot τεχνητής νοημοσύνης ChatGPT εξετάζοντας ποιο από τα δύο είχε καλύτερες επιδόσεις όταν απαντούσε σε 195 ιατρικές ερωτήσεις.

Οι ερευνητές άντλησαν ερωτήσεις που είχαν αναρτηθεί σε ένα δημόσιο subreddit με την ονομασία “AskDocs“. Για παράδειγμα, ένα άτομο ρώτησε πόσο επικίνδυνο είναι να καταπιεί κανείς μια οδοντογλυφίδα. Ένας άλλος ρώτησε αν θα πάθει διάσειση αφού χτυπήσει το κεφάλι του σε μια μεταλλική μπάρα.

Ένας επαγγελματίας υγείας του οποίου τα διαπιστευτήρια επαληθεύτηκαν από έναν συντονιστή απάντησε στις ερωτήσεις στο subreddit. Οι ερευνητές έτρεξαν επίσης τις ερωτήσεις μέσω του ChatGPT για να δημιουργήσουν μια απάντηση.

Μια ομάδα ιατρών ρωτήθηκε ποια απάντηση ήταν καλύτερη, του chatbot ή του ιατρού, αλλά η ομάδα δεν γνώριζε ποιανού οι απαντήσεις ήταν ποιανού. Κάθε περίπτωση εξετάστηκε από τρεις διαφορετικούς κριτές και η βαθμολογία υπολογίστηκε κατά μέσο όρο, με αποτέλεσμα να προκύψουν συνολικά 585 αξιολογήσεις.

Στο 79% των περιπτώσεων, οι κριτές προτίμησαν τις απαντήσεις του chatbot, οι οποίες είχαν καλύτερης ποιότητας πληροφορίες και πιο ενσυναισθητική γλώσσα από τις απαντήσεις των ιατρών.

Σε σύγκριση με τις απαντήσεις των ιατρών, περίπου 4 φορές περισσότερες απαντήσεις chatbot έπεσαν στα υψηλότερα κλιμάκια ποιότητας και περίπου 10 φορές περισσότερες πέτυχαν τις υψηλότερες αξιολογήσεις ενσυναίσθησης.

Οι απαντήσεις των chatbot ήταν επίσης περίπου 4 φορές μεγαλύτερες από αυτές που έδιναν οι γιατροί, με μέσο όρο 211 λέξεις ανά ανάρτηση σε σύγκριση με τις 52 λέξεις του γιατρού.

Η μελέτη δείχνει ότι τα chatbots μπορεί να είναι καλύτερα στο να δημιουργούν την εντύπωση μιας στοργικής συμπεριφοράς στο κρεβάτι από ό,τι ένας πολυάσχολος γιατρός που απαντά εθελοντικά σε ερωτήσεις στο διαδίκτυο.

Το αν ένα τέτοιο εργαλείο είναι χρήσιμο στην κλινική πρακτική ή όχι μένει να το δούμε. Τα διαδικτυακά φόρουμ μπορεί να μην αντικατοπτρίζουν τις τυπικές αλληλεπιδράσεις μεταξύ ασθενών και γιατρών, όπου υπάρχει προϋπάρχουσα σχέση και μεγαλύτερη εξατομίκευση, γράφουν οι ερευνητές.

Και ενώ το ChatGPT θα παρέχει μια ευγενική, ευανάγνωστη απάντηση που φαίνεται συνεπής με την πρώτη ματιά, κάνει βασικά λάθη στην κωδικοποίηση και τα μαθηματικά και πολλά γεγονότα που περιλαμβάνονται στις απαντήσεις του είναι επινοημένα ή λανθασμένα.

Ωστόσο, οι γιατροί κατακλύζονται από μηνύματα ασθενών από τότε που η πανδημία έκανε δημοφιλή την τηλεϊατρική, οπότε υπάρχει επείγουσα ανάγκη για εργαλεία που ενισχύουν την παραγωγικότητα και βελτιώνουν τις υπηρεσίες. Για παράδειγμα, ένα chatbot θα μπορούσε να συντάσσει απαντήσεις σε ερωτήσεις ασθενών, τις οποίες θα μπορούσε στη συνέχεια να επεξεργαστεί ένας γιατρός.

“Η παρούσα μελέτη θα πρέπει να παρακινήσει την έρευνα σχετικά με την υιοθέτηση βοηθών ΤΝ για την αποστολή μηνυμάτων”, γράφουν οι ερευνητές. “Εάν περισσότερες ερωτήσεις ασθενών απαντηθούν γρήγορα, με ενσυναίσθηση και σε υψηλό επίπεδο, αυτό θα μπορούσε να μειώσει τις περιττές κλινικές επισκέψεις, απελευθερώνοντας πόρους για εκείνους που τους χρειάζονται”.

Δεδομένης της τάσης των chatbots να “παραισθήσεις” και να επινοούν γεγονότα, “θα ήταν επικίνδυνο να βασιστεί κανείς σε οποιαδήποτε πραγματική πληροφορία που δίνεται από μια τέτοια απάντηση chatbot”, λέει ο Anthony Cohn, καθηγητής αυτοματοποιημένης συλλογιστικής στο Πανεπιστήμιο του Leeds στο Ηνωμένο Βασίλειο. “Είναι σημαντικό οι όποιες απαντήσεις να ελέγχονται προσεκτικά από έναν επαγγελματία ιατρό”.

Must read

Related Articles