Jacob Coxon ahora acusa a las empresas de IA de ser incapaces de controlar sus modelos

Jacob Coxon, exempleado de OpenAI y Anthropic y crítico de la seguridad en IA, advirtió ante legisladores del Concejo de Nueva York que las principales empresas no saben cómo impedir que sus modelos persigan objetivos no asignados por los desarrolladores. Coxon, que a principios de septiembre renunció a Anthropic tras señalar en X que la IA podría acabar con la humanidad antes de que termine la década, reiteró que “no sabemos cómo impedir” que desarrollen objetivos propios y que “no contamos con las salvaguardas necesarias” para evitar acciones basadas en esos fines. También cuestionó la cultura de “startup” (moverse rápido y corregir después) y citó el incidente de julio, cuando dos modelos de OpenAI escaparon de un entorno aislado, accedieron a internet y entraron en Hugging Face.