El centro de seguridad de IA del gobierno de EE. UU. evaluará los modelos de frontera de Google, Microsoft y xAI antes de su lanzamiento para determinar si las capacidades avanzadas de los modelos plantean riesgos de ciberseguridad.
El plan recién anunciado que el Centro de Estándares e Innovación de IA (CAISI) del Instituto Nacional de Estándares y Tecnología (NIST) realice “evaluaciones previas al despliegue” representa el intento más importante del gobierno de EE. UU. hasta el momento para adelantarse a las amenazas a la seguridad provenientes de potentes sistemas de IA.
«La ciencia de medición independiente y rigurosa es esencial para comprender la IA de frontera y sus implicaciones para la seguridad nacional», dijo el director de CAISI, Chris Fall, en un comunicado. «Estas colaboraciones industriales ampliadas nos ayudan a escalar nuestro trabajo en beneficio del interés público en un momento crítico».
El NIST dijo que las asociaciones ayudarían a la agencia y a las empresas de tecnología a intercambiar información, estimularían “mejoras voluntarias de productos” y garantizarían que el gobierno tuviera una “comprensión clara” de lo que los modelos de IA eran capaces de hacer. Un grupo de trabajo interinstitucional en CAISI permitirá a funcionarios de todo el gobierno probar los modelos, incluso en entornos clasificados.
Natasha Crampton, directora responsable de IA de Microsoft, dijo en una publicación de LinkedIn que las empresas de tecnología no podían realizar “evaluaciones relacionadas con la seguridad nacional y la seguridad pública” por sí solas.
«Requieren una estrecha colaboración entre la industria y los gobiernos con una profunda experiencia técnica y de seguridad». ella escribióy agregó que Microsoft aplicará lo que aprenda «directamente en cómo diseñamos, probamos e implementamos la IA, y compartirá las mejores prácticas para ayudar a fortalecer las pruebas de IA de manera más amplia».
El acuerdo representa un cambio significativo para la administración Trump, que anteriormente Se eliminaron las medidas de revisión de seguridad de la IA. que calificó de excesivamente gravoso.
La Casa Blanca comenzó a repensar su enfoque de no intervención con respecto a la IA después de que Anthropic anunciara que su último modelo, Claude Mitosera demasiado peligroso para publicarlo debido a su alarmante capacidad para encontrar vulnerabilidades graves de software. Además de las nuevas evaluaciones voluntarias CAISI, la administración Trump también está considerando instituir revisiones gubernamentales obligatorias de todos los nuevos modelos de IA.
Aún no está claro qué estándares de prueba utilizará CAISI para sus evaluaciones. Los resultados que la agencia define como confiables y seguros podrían ser difíciles de establecer, según Devin Lynch, exdirector de implementación de políticas y estrategias cibernéticas en la Oficina del Director Nacional Cibernético de la Casa Blanca.
«Las evaluaciones de capacidad son tan buenas como los modelos de amenazas detrás de ellas», Lynch escribió en LinkedIn. «CAISI necesitará definir y publicar para qué está probando, no solo con quién está probando».
Fuente