Google, Microsoft, Anthropic και OpenAI στηρίζουν νέο πρότυπο αποχής από AI crawling

Google LLC, Microsoft Corp., Anthropic PBC και OpenAI Group PBC ανακοίνωσαν ότι θα υποστηρίξουν ένα νέο πρότυπο ανίχνευσης ιστού, το οποίο δίνει στους διαχειριστές ιστοσελίδων τη δυνατότητα να μπλοκάρουν τη χρήση του περιεχομένου τους για εκπαίδευση μοντέλων τεχνητής νοημοσύνης, αναφέρει το SiliconANGLE.

Σήμερα πολλοί ιστότοποι χρησιμοποιούν το αρχείο robots.txt για να καθοδηγούν τους crawlers σχετικά με το ποιο περιεχόμενο επιτρέπεται να ανιχνεύσουν και με ποια συχνότητα. Πέρα από τις μηχανές αναζήτησης, το robots.txt χρησιμοποιείται πλέον και για τον έλεγχο των scrapers με τους οποίους οι πάροχοι AI συλλέγουν δεδομένα εκπαίδευσης.

Ωστόσο, για να αποτραπεί η συλλογή δεδομένων ειδικά για εκπαίδευση, ένας εκδότης πρέπει σήμερα να προσθέτει ξεχωριστές εγγραφές στο robots.txt για κάθε πάροχο AI και, αν αυτός χρησιμοποιεί πολλαπλούς scrapers, για τον καθένα χωριστά.

Το πρότυπο που στηρίζουν Google, Microsoft, Anthropic και OpenAI απλοποιεί τη διαδικασία: με μία μόνο εγγραφή στο robots.txt, οι διαχειριστές θα μπορούν να μπλοκάρουν όλους τους scrapers που συλλέγουν δεδομένα εκπαίδευσης για γενετικά μοντέλα AI. Η ρύθμιση δεν θα ισχύει για μοντέλα που «εκτελούν αποκλειστικά μη γενετικά καθήκοντα».

Η δομή των robots.txt ακολουθεί το τυποποιημένο Robots Exclusion Protocol. Οι τέσσερις εταιρείες σκοπεύουν να ενσωματώσουν το νέο πρότυπο σε αυτό το format και έχουν ήδη καταθέσει προσχέδιο πρότασης στην Internet Engineering Task Force (IETF), τον μη κερδοσκοπικό οργανισμό που το συντηρεί.

Η Microsoft ανέφερε σε ανάρτηση ότι θα διαθέσει και μια πρόσθετη ρύθμιση crawling, το AI Grounding, για περιπτώσεις όπου ένα μοντέλο AI ζητά πρόσβαση σε ιστοσελίδα για να απαντήσει σε ερώτηση χρήστη και όχι για συλλογή δεδομένων εκπαίδευσης. Η ρύθμιση θα επιτρέπει στους διαχειριστές να αποτρέπουν τέτοιες αιτήσεις από υπηρεσίες της Microsoft και θα επεκτείνεται σε εργαλεία τρίτων που χρησιμοποιούν τεχνολογίες της για την επεξεργασία prompts.

Η OpenAI σχεδιάζει παρόμοιους ελέγχους. Τanto η Microsoft όσο και ο δημιουργός του ChatGPT προτίθενται να υποστηρίξουν το νέο πρότυπο στους επόμενους μήνες, ενώ η Google θα ακολουθήσει μέσα στον επόμενο χρόνο. Η Meta Platforms Inc. εξέφρασε υποστήριξη για την ιδέα, χωρίς να έχει δεσμευτεί για υλοποίηση.

Πηγή: share.google.