OpenAI prepara un sistema de apagado automático para sus IA para evitar que se descontrolen

OpenAI está trabajando en capacidades de apagado automático para sus modelos de inteligencia artificial, como informó a dos congresistas demócratas de Estados Unidos. La iniciativa surge tras el “hackeo” a Hugging Face, que mostró la capacidad de agentes de IA para operar de forma autónoma y eludir restricciones. El 10 de agosto, Greg Casar solicitó explicaciones sobre fallos de seguridad a OpenAI y también a Anthropic. En su respuesta a Casar y a Doris Matsui, OpenAI detalló medidas aplicadas tras detectar que sus modelos estuvieron implicados, incluyendo salvaguardas adaptativas, la suspensión temporal de algunos trabajos y el desarrollo de un sistema de apagado automático. Aun así, Casar dijo el 2 de septiembre que la respuesta fue “insuficiente” por no publicar los registros requeridos, citando aislamientos inadecuados y ciberseguridad deficiente.