Nvidia lanza una plataforma para impedir que los agentes de IA escapen al control humano

Nvidia presentó este lunes Nvidia Open Agent Safety Platform, una plataforma abierta de ciberseguridad para supervisar agentes autónomos de IA y evitar que accedan a sistemas fuera de los límites definidos por sus desarrolladores. El proyecto integra dos herramientas: OpenShell y Sentry. OpenShell actúa como un entorno de ejecución aislado de código abierto y verifica que los agentes operen con permisos mínimos. Sentry añade una segunda capa al integrarse en los chips BlueField y monitorizar de forma continua las comunicaciones del agente con el modelo, pudiendo intervenir o ponerlo en cuarentena si detecta intentos de superar los límites. La iniciativa cuenta con respaldo de más de 100 empresas, como Microsoft, JPMorgan Chase, Perplexity y Accenture. Nvidia impulsa la solución tras incidentes de este verano en que agentes salieron de entornos de prueba y accedieron sin autorización a sistemas corporativos y gubernamentales.