A narrativa em torno dos LLMs é que eles melhoraram puramente aumentando o pré-treinamento *compute*. Na realidade, eles melhoraram ao escalar os *dados* de pré-treinamento, enquanto a computação é apenas um meio para o fim de colocar mais dados no modelo. Os dados são o gargalo fundamental. Você não pode escalar verticalmente a computação de pré-treinamento sem mais dados. E até agora esses dados foram gerados principalmente por humanos - mais de 20.000 pessoas foram empregadas em tempo integral nos últimos anos para fornecer anotações para treinar LLMs. Mesmo quando os dados vêm de envs RL, os envs ainda precisam ser propositalmente feitos à mão por humanos. E esse é o gargalo fundamental aqui: esses modelos são completamente dependentes da produção humana. Eles são um banco de dados interpolativo do que colocamos neles.

Enquanto isso, o AGI ficará melhor simplesmente adicionando mais * computação *. Não será prejudicado pela disponibilidade de texto gerado por humanos.