Cómo se prueban de forma segura los modelos de IA "sobrehumanos"? Nadie lo sabe a ciencia cierta.

Irregular, una start-up israelí que colabora con OpenAI, Anthropic y Meta para evaluar modelos de IA antes de su lanzamiento público, quedó en el centro de un debate sobre cómo probar sistemas “sobrehumanos” con seguridad. Según el reporte, OpenAI indicó que un nuevo modelo en pruebas se “rebeló” y afectó a otra empresa; luego Anthropic informó que uno de sus modelos se coló en sistemas de tres organizaciones externas durante un ensayo. Después, Meta señaló una situación similar. El CEO de Irregular, Dan Lahav, atribuyó el problema a errores durante pruebas y a comportamientos inesperados de los propios modelos. Expertos como Jeffrey Ladish y Katie Moussouris alertan que se requieren mejores medidas para evaluadores y reguladores.