A narrativa em torno dos LLMs é que eles melhoraram puramente ao escalar o *cálculo* de pré-treinamento. Na realidade, eles melhoraram ao escalar os *dados* de pré-treinamento, enquanto o cálculo é apenas um meio para o fim de enfiar mais dados no modelo. Os dados são o gargalo fundamental. Não se pode escalar o cálculo de pré-treinamento sem mais dados. E até agora, esses dados têm sido principalmente gerados por humanos -- mais de 20.000 pessoas foram empregadas em tempo integral nos últimos anos para fornecer anotações para treinar LLMs. Mesmo quando os dados vêm de ambientes de RL, os ambientes ainda precisaram ser intencionalmente elaborados por humanos. E esse é o gargalo fundamental aqui: esses modelos são completamente dependentes da saída humana. Eles são um banco de dados interpolativo do que colocamos neles.

Entretanto, a AGI de fato melhorará simplesmente ao adicionar mais *cálculo*. Não será limitada pela disponibilidade de texto gerado por humanos.