Die Erzählung über LLMs ist, dass sie sich allein durch die Skalierung des Pretraining *Compute* verbessert haben. In Wirklichkeit haben sie sich durch die Skalierung der Pretraining *Daten* verbessert, während Compute nur ein Mittel zum Zweck ist, um mehr Daten in das Modell zu stopfen. Daten sind der grundlegende Engpass. Man kann das Pretraining-Compute nicht ohne mehr Daten skalieren. Und bisher stammen diese Daten hauptsächlich von Menschen -- über 20.000 Menschen wurden in den letzten Jahren Vollzeit beschäftigt, um Annotationen bereitzustellen, um LLMs zu trainieren. Selbst wenn die Daten aus RL-Umgebungen stammen, mussten die Umgebungen immer noch absichtlich von Menschen erstellt werden. Und das ist der grundlegende Engpass hier: Diese Modelle sind vollständig von menschlichem Output abhängig. Sie sind eine interpolative Datenbank dessen, was wir in sie hineingeben.

In der Zwischenzeit wird AGI tatsächlich besser werden, indem einfach mehr *Rechenleistung* hinzugefügt wird. Es wird nicht durch die Verfügbarkeit von menschlich generiertem Text eingeschränkt.