Narrativet kring LLM:er är att de blev bättre enbart genom att skala upp förträning *compute*. I verkligheten blev de bättre genom att skala upp förträning *data*, medan beräkning bara är ett sätt att stoppa in mer data i modellen. Data är den grundläggande flaskhalsen. Du kan inte skala upp förträningsberäkning utan mer data. Och hittills har dessa data huvudsakligen genererats av människor - över 20 000 personer har varit anställda på heltid under de senaste åren för att tillhandahålla kommentarer att träna LLM:er på. Även när data kommer från RL envs, måste envs fortfarande vara avsiktligt handgjorda av människor. Och det är den grundläggande flaskhalsen här: dessa modeller är helt beroende av mänsklig produktion. De är en interpolativ databas över vad vi lägger in i dem.

Samtidigt kommer AGI faktiskt att bli bättre genom att helt enkelt lägga till mer *beräkning*. Den kommer inte att flaskhalsas av tillgången till mänskligt genererad text.