La narrativa en torno a los LLM es que mejoraron puramente al escalar el *cómputo* de preentrenamiento. En realidad, mejoraron al escalar los *datos* de preentrenamiento, mientras que el cómputo es solo un medio para el fin de introducir más datos en el modelo. Los datos son el cuello de botella fundamental. No puedes escalar el cómputo de preentrenamiento sin más datos. Y hasta ahora, estos datos han sido principalmente generados por humanos: más de 20,000 personas han sido empleadas a tiempo completo durante los últimos años para proporcionar anotaciones para entrenar LLMs. Incluso cuando los datos provienen de entornos de RL, los entornos aún tuvieron que ser diseñados intencionadamente por humanos. Y ese es el cuello de botella fundamental aquí: estos modelos dependen completamente de la salida humana. Son una base de datos interpolativa de lo que ponemos en ellos.

Mientras tanto, AGI de hecho mejorará simplemente añadiendo más *cómputo*. No estará limitada por la disponibilidad de texto generado por humanos.