La interpretabilidad de la IA divide a investigadores: ¿las redes neuronales son más legibles?

Un ensayo de Nick Cammarata, asesor de investigación de Goodfire, reabre el debate sobre interpretabilidad en redes neuronales mecanicistas: sostiene que algunos componentes considerados “mezclados” podrían ser, en realidad, más legibles de lo que se cree. Cammarata argumenta que parte del desorden observado puede provenir de herramientas de análisis limitadas y propone reinterpretar ejemplos clásicos. En el modelo Qwen3-32B, su análisis estima que cerca del 90% de los “polos neuronales” tiene una función principal, mientras que el resto queda sin explicación. Neel Nanda considera valioso el estudio directo de neuronas, pero advierte que no prueba que la interpretabilidad esté cerca de resolverse y que los hallazgos requieren confirmación.