La inferencia de IA podría importar 12 veces más que el entrenamiento

La etapa posterior al entrenamiento —la inferencia— puede consumir muchas más operaciones que el propio proceso de aprender un modelo. Así lo planteó una sesión de Y Combinator titulada “Why Inference Matters 12x More Than Training”, al recordar que servir cada consulta al usuario implica recursos de cómputo y memoria, que se repiten con cada token generado. Con datos atribuidos a DeepSeek, el encuentro estimó que la inferencia de DeepSeek V3 podría representar unas 6 veces el trabajo de entrenamiento en un año y hasta 12 veces en dos años, bajo supuestos sobre la vida útil del modelo y el crecimiento del uso. También se destacó que el rendimiento depende de combinar técnicas como cuantización, optimización de kernels, enrutamiento y gestión de memoria, sin sacrificar la calidad, y que en modelos abiertos puede variar el servicio aunque se usen los mismos pesos.