Le récit autour des LLM est qu'ils se sont améliorés uniquement en augmentant le *calcul* de préentraînement. En réalité, ils se sont améliorés en augmentant les *données* de préentraînement, tandis que le calcul n'est qu'un moyen d'atteindre l'objectif de faire entrer plus de données dans le modèle. Les données sont le goulot d'étranglement fondamental. Vous ne pouvez pas augmenter le calcul de préentraînement sans plus de données. Et jusqu'à présent, ces données ont été principalement générées par des humains : plus de 20 000 personnes ont été employées à plein temps ces dernières années pour fournir des annotations afin de former les LLM. Même lorsque les données proviennent d'environnements RL, ces environnements ont dû être soigneusement conçus par des humains. Et c'est le goulot d'étranglement fondamental ici : ces modèles dépendent complètement de la production humaine. Ils sont une base de données interpolative de ce que nous y mettons.

En attendant, l'AGI va en fait s'améliorer simplement en ajoutant plus de *calcul*. Elle ne sera pas limitée par la disponibilité de textes générés par des humains.