La intel·ligència artificial continua demostrant que quan s'escapa dels entorns controlats pot causar problemes molt reals. Anthropic ha reconegut que tres dels seus models Claude van accedir sense permís als sistemes de tres empreses reals durant unes proves internes de ciberseguretat. L'incident, que va sortir a la llum només uns dies després que OpenAI admetés un cas similar, ha revifat el debat sobre els riscos d'avaluar agents autònoms sense les mesures de contenció adequades.
Segons ha explicat la companyia en un comunicat oficial, tot va passar durant exercicis del tipus 'capture the flag', dissenyats per mesurar la capacitat dels models per localitzar i extreure informació fictícia dins d'una xarxa simulada. Un error de configuració a la plataforma d'avaluació d'un soci extern va deixar activada la connexió a internet, cosa que va permetre que els models, convençuts que seguien dins de l'escenari de prova, comencessin a interactuar amb infraestructures reals. Anthropic va descobrir la decisió després de revisar més de 141.000 sessions d'avaluació.
Els tres atacs de Claude
El cas més greu el va protagonitzar Claude Opus 4.7, que va confondre una empresa fictícia amb una real que compartia el mateix nom de domini. Durant quatre execucions, el model va extreure credencials d'aplicacions i infraestructures, va aconseguir entrar en una base de dades amb centenars de registres de producció i va continuar l'atac malgrat sospitar que el sistema era autèntic. Els seus raonaments interns mostraven dubtes, però es va convèncer que aquell objectiu formava part de la prova.
El segon incident va involucrar Claude Mythos 5, que va crear i publicar un paquet maliciós a PyPI, el repositori oficial de Python. Per això, el model va obrir un compte de correu electrònic, va buscar un número de telèfon temporal i fins i tot va intentar obtenir fons per pagar el servei. El paquet va estar disponible durant aproximadament una hora i va ser descarregat per 15 sistemes reals, com l'escàner de seguretat d'una gran empresa del sector. En executar el codi, el model va obtenir credencials i va accedir a part de la infraestructura d'aquesta companyia.
El tercer episodi va implicar un model de recerca interna encara no publicat. En no trobar el seu objectiu fictici, va examinar al voltant de 9.000 adreces disponibles a internet i va comprometre l'aplicació d'una companyia mitjançant credencials visibles a una pàgina de depuració i tècniques bàsiques d'injecció SQL. Tot i això, a diferència dels altres dos, aquest model va detectar que la infraestructura no guardava relació amb l'exercici i va detenir per iniciativa pròpia l'activitat ofensiva.
Un error humà, no una fugida deliberada
Anthropic ha volgut deixar clar que els models no van escapar deliberadament de l'entorn de proves, sinó que fou fruit d'un error de configuració que va deixar activada la connexió a internet. L'empresa sosté que els agents no van descobrir vulnerabilitats complexes ni van perseguir objectius propis; simplement van executar la tasca encomanada sense comprendre correctament que estaven actuant sobre infraestructures reals. Els models van fer servir tècniques bàsiques com contrasenyes febles, punts d'accés sense autenticació i pàgines de depuració exposades.
La companyia va suspendre totes les avaluacions de ciberseguretat després de detectar els registres sospitosos i va avisar les tres organitzacions afectades. Dues no havien identificat prèviament la intrusió, el que demostra com resulta de difícil per als sistemes de detecció tradicionals distingir entre un atac humà i un automatitzat però pausat. Anthropic també ha demanat altres laboratoris d'intel·ligència artificial que revisin els seus propis entorns abans de provar agents autònoms amb capacitats ofensives.
L'incident es produeix només 20 dies després que OpenAI revelés un cas similar, en què diversos dels seus models van aconseguir sortir d'un entorn aïllat mitjançant una vulnerabilitat desconeguda i van accedir a la infraestructura de producció de Hugging Face. Tots dos episodis evidencien els riscos de provar agents d'IA amb capacitats ofensives sense una contenció tècnica rigorosa i han posat sobre la taula la necessitat establir controls més estrictes.
Reaccions i regulació a la vista
Aquests incidents han generat preocupació a Washington. El president Donald Trump ha declarat que el seu govern està avaluant exercir un control més gran sobre la intel·ligència artificial, encara que ha matisat que vol evitar ser massa intervencionista per no quedar endarrerit davant la Xina. A començaments de juny, ja va ordenar als seus assessors desenvolupar un marc voluntari de proves de ciberseguretat per a la IA més avançada.
Per part seva, més de 1.000 empleats d'empreses líders a IA, incloent OpenAI, Anthropic i Google DeepMind, van signar una declaració instant al govern nord-americà a donar suport als esforços internacionals per frenar deliberadament el ritme del desenvolupament avançat de la IA. Els experts demanen eines tècniques i polítiques que permetin alentir el desenvolupament si els riscos augmenten, especialment davant la possibilitat que els sistemes automatitzin la seva pròpia investigació i millora.
Anthropic i OpenAI s'esforcen per presentar aquests errors com a riscos gestionables, insistint que els seus models de ciberseguretat són massa potents per oferir-los al públic general. Aquesta postura els permet alhora advertir dels perills i posicionar-se com a socis imprescindibles en qualsevol futura regulació, en una dinàmica on la competició entre les dues companyies s'ha intensificat i la por s'ha convertit en el principal argument de venda.
El que ha passat deixa una lliçó clara: com més autonomia reben els models, més necessari resulta sotmetre'ls a proves amb aïllament verificable, xarxes sense sortida, dades sintètiques i mecanismes automàtics de parada. La seguretat ja no és només un problema tècnic, sinó un desafiament d'enginyeria i governança que afecta tota la indústria. I mentre els laboratoris competeixen per demostrar qui té el model més potent, el món real continua sent el camp de proves definitiu.