LLM:ien ympärillä kerrotaan, että ne paranivat puhtaasti skaalaamalla esikoulutusta *laskentaa*. Todellisuudessa he paranivat skaalaamalla esikoulutusta *dataa*, kun taas laskenta on vain keino pakata malliin lisää dataa. Data on perustavanlaatuinen pullonkaula. Et voi skaalata esikoulutuksen laskentaa ilman lisätietoja. Ja tähän mennessä nämä tiedot ovat olleet pääasiassa ihmisen tuottamia - yli 20 000 ihmistä on työskennellyt kokopäiväisesti viime vuosina tarjoamaan merkintöjä LLM-opiskelijoiden kouluttamiseksi. Vaikka tiedot tulevat RL-env:istä, ihmisten piti silti tarkoituksella tehdä ne käsin. Ja se on perustavanlaatuinen pullonkaula tässä: nämä mallit ovat täysin riippuvaisia ihmisen tuotoksesta. Ne ovat interpolatiivinen tietokanta siitä, mitä laitamme niihin.

Samaan aikaan AGI itse asiassa paranee yksinkertaisesti lisäämällä lisää *laskentaa*. Ihmisen luoman tekstin saatavuus ei pullota sitä.