Η Ahrefs ανέλυσε 137.000 domains και διαπίστωσε ότι το 97% των αρχείων llms.txt δεν έλαβε καμία αίτηση. Ούτε από bots, ούτε από ανθρώπους. Συνολικά, τα AI retrieval bots αντιστοιχούν στο 1% των αιτημάτων.
Σύμφωνα με τα logs που εξέτασε η Ahrefs, περίπου το 28% των 137.000 domains δημοσιεύει αρχείο llms.txt. Ωστόσο, επειδή οι πελάτες της Ahrefs είναι γενικά πιο τεχνικοί, η πραγματική υιοθέτηση στο ευρύτερο διαδίκτυο πιθανότατα είναι χαμηλότερη.
Από τα περίπου 38.000 domains με έγκυρα αρχεία, μόλις γύρω στα 1.100 δέχθηκαν οποιαδήποτε κίνηση. Στα αρχεία που είχαν αιτήματα, το 96% προήλθε από bots, κυρίως μη AI. Τα AI retrieval bots που συνδέονται με ChatGPT και Perplexity αντιστοιχούν στο 1%.
Ποιος ζητά τα llms.txt
Τα εργαλεία SEO audit κάλυψαν το 21% των αιτημάτων, ακολούθησαν τα μη αναγνωρισμένα bots (14%), οι web crawlers όπως το Googlebot (13%) και τα εργαλεία τεχνικού profiling τύπου BuiltWith (11%). Τα AI bots, συνολικά σε τέσσερις κατηγορίες, συγκέντρωσαν το 19% των αιτημάτων. Το AI είναι το μεγαλύτερο κομμάτι, αλλά η κατανομή διαφέρει από τις προσδοκίες πολλών υποστηρικτών του llms.txt.
Οι coding agents έστειλαν το 10% των αιτημάτων, οι training crawlers 5% και οι assistants 2%. Τα Claude-Code και GPTBot ήταν τα πιο δραστήρια μεμονωμένα bots. Το Slackbot, μόνο του, προσέγγισε αρχεία llms.txt συχνότερα από το PerplexityBot.
Η βιομηχανία που μελετά τον εαυτό της
Το 12% των αιτημάτων προήλθε από εργαλεία που κάνουν audit, σκανάρουν ή μελετούν τα llms.txt αντί να τα χρησιμοποιούν. Τα GEO και AEO readiness tools έστειλαν το 5% των αιτημάτων, ενώ ειδικοί scanners και validators το 3% — περισσότερο από ό,τι τα AI retrieval bots και οι assistants μαζί. Τα research bots κάλυψαν 2%, με τον μεγαλύτερο crawler να ταυτοποιείται ως έρευνα για prompt injection.
Έχει διαμορφωθεί ένα οικοσύστημα που βαθμολογεί και καταλογογραφεί ένα φορμάτ αρχείου πριν εμφανιστεί ουσιαστικό κοινό.
Κανένα AI bot δεν ψάχνει για αρχεία που δεν υπάρχουν
Αιτήματα προς διαδρομές /llms.txt που κατέληξαν σε 404 δεν προσέλκυσαν AI κίνηση. Οι άνθρωποι που χτυπούν αυτά τα 404 φαίνεται να πληκτρολογούν τη διαδρομή στον browser, πιθανότατα για να ελέγξουν ανταγωνιστές.
Το audit του Chrome Lighthouse για το llms.txt, που αναζωπύρωσε τη σχετική συζήτηση τον Μάιο, παρήγαγε περίπου 22 αιτήματα σε όλο το δείγμα, δηλαδή γύρω στο 1 στα 1.000.
Τα στοιχεία συνάδουν με όσα λέει εδώ και πάνω από έναν χρόνο ο John Mueller της Google για το llms.txt. Η Lily Ray πίεσε τον Mueller για το χάσμα ανάμεσα στην απόρριψη από το Google Search και το audit του Chrome Lighthouse. Εκείνος είπε ότι το llms.txt είναι «not done for search» και το χαρακτήρισε «temporary crutch, perhaps to save some tokens» για εργαλεία AI coding.
Τα δεδομένα δείχνουν ότι το βασικό κοινό του αρχείου είναι coding agents και training crawlers, όχι bots αναζήτησης και ανάκτησης περιεχομένου AI που θα παρήγαγαν citations.
Το ρήγμα ανάμεσα στην τεκμηρίωση του Google Search και του Lighthouse είχε επισημανθεί τον Μάιο. Προηγούμενη ανάλυση της SE Ranking σε 300.000 domains δεν βρήκε σύνδεση ανάμεσα στην ύπαρξη llms.txt και τη συχνότητα AI citations. Τα στοιχεία της Ahrefs υποδεικνύουν έναν πιθανό λόγο: τα bots που σχετίζονται άμεσα με live AI retrieval σχεδόν δεν ζήτησαν αυτά τα αρχεία τον Μάιο.
Αξίζει προσοχή και το εύρημα για prompt injection. Η Ahrefs εντόπισε crawler που μελετά το llms.txt ως κίνδυνο prompt injection, καθώς agents τείνουν να εμπιστεύονται το περιεχόμενο που καταπίνουν. Ιστότοποι που δημιουργούν αυτόματα τα αρχεία μέσω CMS θα πρέπει να ελέγξουν το περιεχόμενό τους.
Κάθε νούμερο στην αναφορά αυτή είναι ανώτατο όριο. Η Ahrefs μέτρησε αιτήματα, όχι το αν τα bots αξιοποίησαν όσα κατέβασαν.
Κεντρική εικόνα: sdecoret / Shutterstock
