Los gobiernos de Australia y Estados Unidos, junto con otros socios internacionales, publicaron el viernes una guía para implementar de forma segura sistemas de IA agentes.
Las capacidades de automatización de los agentes de IA crean riesgos únicos que pueden provocar «pérdidas de productividad, interrupciones del servicio, violaciones de la privacidad o incidentes de ciberseguridad». el documento de orientación dice. «Por lo tanto, las organizaciones deben anticipar lo que podría salir mal, evaluar cómo los escenarios de riesgo de IA agente podrían afectar las operaciones y establecer visibilidad y seguridad continuas para mantener la confianza en sus inversiones en IA agente».
El uso seguro de agentes de IA significa “nunca otorgarles acceso amplio o sin restricciones, especialmente a datos confidenciales o sistemas críticos”, advierte el documento. Las empresas, dice, «sólo deberían utilizar IA agente para tareas de bajo riesgo y no sensibles».
La publicación, coeditada por la Dirección de Señales de Australia, la Agencia de Seguridad de Infraestructura y Ciberseguridad de EE. UU. y la Agencia de Seguridad Nacional y sus homólogos británicos, canadienses y neozelandeses, surge como parte de las empresas. carrera para integrar herramientas de IA en sus flujos de trabajo y adoptan cada vez más la IA agente por su capacidad de automatizar tareas repetitivas.
Las organizaciones que evalúan herramientas de IA agentes deben comprender la variedad de riesgos asociados con ellas, advirtieron los gobiernos occidentales en su documento de orientación. Los agentes de IA son sistemas complejos cuyas piezas interconectadas crean “riesgos sistémicos” y dependen de grandes modelos de lenguaje y fuentes de datos externas que pueden introducir sus propias vulnerabilidades, como resultados de búsqueda web creados con fines malintencionados que permiten ataques de inyección rápida.
«Cada componente individual de un sistema de IA agente amplía la superficie de ataque, exponiendo el sistema a vías adicionales de explotación», dice el documento.
La inmadurez de Estándares de seguridad de IA y la dificultad de aplicar modelos de gobernanza centrados en el ser humano a las tecnologías automatizadas también dificulta proteger las herramientas de IA agentes contra sabotajes o mal funcionamiento, según la publicación.
El documento describe varios riesgos de seguridad específicos de la IA, incluido el abuso de privilegios, la suplantación de identidad, acciones inesperadas y engaños. También enumera los riesgos asociados con la forma en que los agentes de IA se integran con otras herramientas, incluidos parámetros de orquestación defectuosos y componentes de terceros corruptos.
Otra sección recomienda las mejores prácticas para el uso de agentes de IA, incluidos controles estrictos en torno al comportamiento, una gestión de identidad sólida y divisiones de trabajo sólidas para evitar fallas en cascada. Las empresas también deben realizar evaluaciones periódicas de sus agentes, según el documento, incluidos ejercicios de formación de equipos rojos y verificación de componentes de terceros.
Otros consejos cubren el monitoreo continuo de los sistemas de inteligencia artificial, la validación de los resultados de los agentes y la aprobación humana de cualquier acción «donde el costo del error sea alto, como reinicios del sistema, salida de la red o eliminación de registros críticos».
“Una gobernanza sólida, una rendición de cuentas explícita, un seguimiento riguroso y una supervisión humana no son salvaguardias opcionales sino requisitos previos esenciales”, advierte el documento. «Hasta que las prácticas de seguridad, los métodos de evaluación y los estándares maduren, las organizaciones deben asumir que los sistemas de IA agentes pueden comportarse de manera inesperada y planificar las implementaciones en consecuencia, priorizando la resiliencia, la reversibilidad y la contención de riesgos sobre las ganancias de eficiencia».
Fuente