El gobierno federal debería priorizar los estándares interoperables basados en el riesgo a medida que desarrolla guías de seguridad para sistemas de IA agentes, dijeron importantes empresas al Instituto Nacional de Estándares y Tecnología.
NIST Centro de innovación y estándares de IA está explorando formas de ayudar a las empresas de inteligencia artificial y a sus clientes a proteger a los agentes contra la manipulación o el abuso y, como parte de ese proyecto, buscó comentarios públicos hasta el lunes por la noche. Más de 930 organizaciones e individuos enviaron comentarios, según el expedienteincluido un grupo de poderosos grupos comerciales de la industria: la Asociación Estadounidense de Banqueros y el Instituto de Política Bancaria, el grupo de software BSA y el gigante de la industria tecnológica TechNet.
Los grupos hicieron una amplia gama de recomendaciones al NIST, incluida la publicación de implementaciones de referencia, enfatizando los principios de seguridad por diseño, apoyando la investigación sobre la gestión de la verificación de IA agente y asignando nuevas pautas a las publicaciones existentes del NIST.
«Un enfoque colaborativo e iterativo que se centra en orientación práctica, pruebas en el mundo real y alineación con los marcos de gestión de riesgos existentes ayudará a garantizar que los agentes de IA se puedan implementar de forma segura y a escala, lo que permitirá a Estados Unidos capturar plenamente los beneficios económicos y sociales de esta tecnología emergente», dijo TechNet.
¿Qué hace que los agentes sean especialmente riesgosos?
El NIST pidió a los comentaristas que abordaran varios temas, incluidos los riesgos de seguridad que son exclusivos de los agentes de IA y las formas de mitigar esos riesgos.
En su respuesta, BSA describió cuatro amenazas únicas: el comportamiento autónomo de los agentes que resulta en acciones del mundo real que requieren supervisión; la forma en que los agentes cambian entre diferentes herramientas, lo que dificulta la “aplicación de políticas estáticas”; la retención de información por parte de los agentes a lo largo del tiempo, lo que podría permitir a los piratas informáticos secuestrarlos envenenando sus fuentes de datos; y la forma en que el “comportamiento no determinista” de los agentes hace difícil controlarlos con “controles de seguridad basados en reglas”.
Para abordar estos desafíos, dijo BSA, las empresas deben establecer una visibilidad total sobre los agentes de IA, catalogar sus permisos (lo que puede ayudar a identificar rápidamente comportamientos no autorizados), verificar la cadena de suministro del código de IA que impulsa las actividades de los agentes y monitorear su comportamiento en tiempo real.
Lo que hace que los agentes sean especialmente riesgosos, dijeron grupos de la industria, es su capacidad para conectarse a bases de datos y equipos físicos de terceros a través de sistemas como el protocolo de contexto modelo. «Debido a que los agentes de IA pueden interactuar con herramientas, datos externos y sistemas del mundo real, introducen distintos desafíos de seguridad que merecen una atención específica», dijo TechNet.
No te apresures a regular
El NIST no es un regulador y la administración Trump lo ha demostrado una marcada aversión a los mandatos prescriptivos de seguridad de la IA. No obstante, los grupos industriales reiteraron su frecuente estribillo de que reglas onerosas para cualquier sistema de IA obstaculizarían la innovación sin mejorar significativamente la seguridad.
«El objetivo de la política debería ser reducir y gestionar estos riesgos sin frenar la innovación a través de requisitos prematuros, demasiado prescriptivos o de talla única», dijo TechNet, alentando al NIST a centrarse en «directrices que definen el desempeño».
BPI y ABA también alentaron al NIST a centrarse en una orientación «voluntaria e independiente de la tecnología» con «ejemplos prácticos y enfoques de validación ilustrativos que pueden adaptarse según el riesgo y el contexto operativo».
«Dicha guía facilitaría la adopción de la industria, apoyaría la planificación de la integración y la revisión informada sobre los riesgos, incluida la diligencia debida cuando corresponda, y respaldaría el cumplimiento de las obligaciones legales y regulatorias sin prescribir un enfoque de implementación único», dijeron los grupos de servicios financieros.
TechNet señaló la industria de la aviación como ejemplo de los estándares basados en el desempeño que prefería. «En lugar de exigir diseños técnicos uniformes, los reguladores establecieron estándares orientados a resultados vinculados a la exposición al riesgo y el contexto operativo», explicó el grupo. «Este modelo creó claridad en torno a las expectativas y al mismo tiempo permitió la innovación en el diseño, la autonomía y las prácticas operativas de las aeronaves».
Los agentes de IA presentan diferentes niveles de riesgo dependiendo de cómo y dónde se utilizan y de cuánta autonomía tienen, añadió TechNet, lo que hace que un enfoque basado en el riesgo sea «particularmente importante».
El campo de la IA agente todavía está en su infancia, dijo TechNet, y la guía del NIST «debería preservar un espacio significativo para la experimentación a medida que las prácticas de seguridad de la IA agente continúan madurando».
“Los mandatos demasiado rígidos o prematuros”, advirtió el grupo, “podrían congelar los enfoques de seguridad vigentes antes de que el campo haya identificado las mejores técnicas”.
Asesoramiento e investigación sobre temas espinosos
La industria de la IA podría beneficiarse del asesoramiento gubernamental y del patrocinio de investigaciones sobre una serie de problemas que los desarrolladores aún no han resuelto, según los grupos comerciales.
BSA alentó al NIST a estudiar formas de verificar la identidad de los agentes de IA, así como el uso de «cadenas de custodia criptográficas» para documentar lo que los agentes están autorizados a hacer. TechNet citó de manera similar la importancia de soluciones confiables de identificación de agentes y dijo que deberían ser interoperables para evitar bloquear a nuevos participantes en el mercado.
Dado que cada vez más bancos buscan utilizar agentes de inteligencia artificial para manejar los intercambios de activos, ABA y BPI alentaron al NIST a ofrecer orientación específica para la industria financiera, incluidos materiales de referencia para «interacciones seguras con contrapartes».
TechNet, junto con ABA y BPI, también solicitó al NIST que incorporara su guía específica para agentes en publicaciones existentes, como el marco de gestión de riesgos.
Fuente