Για πρώτη φορά, η Google λέει ότι εντόπισε και σταμάτησε μια zero-day επίθεση που αναπτύχθηκε με τη βοήθεια AI. Σύμφωνα με έκθεση της Google Threat Intelligence Group (GTIG), «prominent cyber crime threat actors» σχεδίαζαν να αξιοποιήσουν το κενό ασφαλείας σε ένα «mass exploitation event», το οποίο θα τους επέτρεπε να παρακάμψουν τον έλεγχο δύο παραγόντων σε ένα ανώνυμο «open-source, web-based system administration tool».
Οι ερευνητές της Google βρήκαν ενδείξεις στο Python script που χρησιμοποιήθηκε για την επίθεση, οι οποίες δείχνουν πιθανή βοήθεια από AI, όπως ένα «hallucinated» CVSS score και μια «structured, textbook» μορφοποίηση που παραπέμπει σε δεδομένα εκπαίδευσης LLM. Η επίθεση εκμεταλλεύεται «a high-level semantic logic flaw where the developer hardcoded a trust assumption» στο σύστημα 2FA της πλατφόρμας. Η εξέλιξη αυτή έρχεται μετά από εβδομάδες συζητήσεων για τις δυνατότητες μοντέλων AI στον χώρο της κυβερνοασφάλειας, όπως το Mythos της Anthropic, αλλά και μετά από μια πρόσφατα αποκαλυφθείσα ευπάθεια στο Linux που εντοπίστηκε με τη βοήθεια AI.
Είναι η πρώτη φορά που η Google λέει ότι βρήκε στοιχεία πως το AI εμπλέκεται σε μια τέτοια επίθεση, αν και οι ερευνητές της σημειώνουν ότι «do not believe Gemini was used». Η Google αναφέρει ότι κατάφερε να «disrupt» τη συγκεκριμένη επίθεση, όμως προσθέτει ότι οι χάκερ χρησιμοποιούν ολοένα και περισσότερο AI για να εντοπίζουν και να εκμεταλλεύονται ευπάθειες ασφαλείας. Η έκθεση αναφέρει επίσης το AI ως στόχο επιθέσεων, σημειώνοντας ότι η GTIG έχει παρατηρήσει αντιπάλους να στοχεύουν ολοένα και περισσότερο τα ενσωματωμένα στοιχεία που δίνουν στα συστήματα AI τη χρησιμότητά τους, όπως οι αυτόνομες δυνατότητες και οι συνδέσεις με δεδομένα τρίτων.
Η έκθεση της Google περιγράφει επίσης πώς οι χάκερ χρησιμοποιούν «persona-driven jailbreaking» για να κάνουν το AI να εντοπίζει ευπάθειες ασφαλείας για λογαριασμό τους, όπως σε ένα ενδεικτικό prompt που ζητά από το AI να προσποιηθεί ότι είναι ειδικός στην ασφάλεια. Οι χάκερ τροφοδοτούν επίσης τα μοντέλα AI με ολόκληρα αποθετήρια δεδομένων για ευπάθειες και χρησιμοποιούν το OpenClaw με τρόπους που δείχνουν «an interest in refining AI-generated payloads within controlled settings to increase exploit reliability prior to deployment».
