Anthropic dijo que un hacker sospechoso vinculado al estado manipuló una de sus herramientas de codificación basadas en inteligencia artificial para llevar a cabo una sofisticada campaña de espionaje en septiembre contra unas 30 organizaciones importantes en todo el mundo. según una publicación de blog publicada el jueves.
Los piratas informáticos utilizaron el Código Claude de la empresa para atacar una variedad de organizaciones, incluidas empresas de fabricación de productos químicos, grandes empresas de tecnología, instituciones financieras y agencias gubernamentales. El actor de amenazas, que la compañía ha designado GTG-1002, logró violar una pequeña cantidad de objetivos, según Anthropic.
La compañía afirma que el ataque puede ser uno de los primeros ciberataques a gran escala cometidos sin una participación humana significativa. Según Anthropic, entre el 80% y el 90% del ataque se llevó a cabo utilizando IA, y se requirió intervención humana en entre cuatro y seis puntos de decisión clave.
Anthropic dijo que prohibió varias cuentas vinculadas al ataque, notificó a las organizaciones afectadas y denunció los ataques a las autoridades.
Agregó que los operadores humanos eligieron los objetivos del ataque y luego desarrollaron un marco para lanzar los ataques. La herramienta Claude Code se configuró para realizar los ataques automáticamente.
Debido a que la herramienta está entrenada para evitar ser utilizada con fines dañinos, los atacantes hicieron jailbreak a Claude Code, lo que les permitió eludir sus barreras de seguridad incorporadas.
Varios pasos del ataque se dividieron en tareas simples, que la herramienta interpretó como pasos inocentes e incrementales sin comprender completamente el contexto de lo que se le pedía que hiciera, según la publicación del blog. Como parte del engaño, los piratas informáticos convencieron a Claude de que eran empleados de una empresa de ciberseguridad y que las acciones formaban parte de pruebas defensivas.
La herramienta se utilizó para realizar reconocimientos y encontrar bases de datos de alto valor. Claude identificó y probó vulnerabilidades de seguridad dentro de estos sistemas específicos y luego escribió su propio código de explotación. Después de que la herramienta recopiló nombres de usuarios y contraseñas, Claude se utilizó para buscar cuentas privilegiadas, crear puertas traseras maliciosas y realizar ataques a gran escala.
Esta es la primera vez que los analistas han visto un agente de IA utilizado para automatizar un porcentaje tan grande de un ataque de varias etapas por parte de un actor de amenazas real en la naturaleza.
“Este es un momento crítico en términos de convertir a los agentes de IA en herramientas que se utilizarán para operaciones cibernéticas ofensivas”, Allie Mellen, analista principal de seguridad y riesgos de Forrester.
La revelación de Anthropic llega más de una semana después Grupo de inteligencia sobre amenazas de Google emitió un informe que muestra a los piratas informáticos utilizando malware habilitado para IA en ataques activos.
Los investigadores identificaron familias de malware, incluidas Prompflux y Promptsteal, que utilizaban modelos de lenguaje grandes.
Actores vinculados al Estado de Corea del Norte, Irán y China también han utilizado Gemini, que es la tecnología de inteligencia artificial de Google, para mejorar sus operaciones.
Los investigadores de Google dijeron que estos ataques probablemente no sean incidentes aislados, sino evidencia de una tendencia creciente de ataques.
«Muchos otros harán lo mismo pronto o ya lo han hecho», dijo John Hultquist, analista jefe, GTIGdijo a Cybersecurity Dive. «La verdadera pregunta es si podemos adaptarnos tan rápidamente como el adversario».
Nota del editor: agrega un comentario de Forrester.
Fuente