Příběh kolem LLM je takový, že se zlepšili čistě tím, že zvětšili předtrénování *compute*. Ve skutečnosti se zlepšili tím, že zvětšili předtrénovaná *data*, zatímco výpočetní výkon je pouze prostředkem k nacpání dalších dat do modelu. Data jsou základním úzkým hrdlem. Bez dalších dat nemůžete vertikálně navýšit kapacitu předtrénovacích výpočetních prostředků. A doposud byla tato data převážně generována lidmi – v posledních několika letech bylo zaměstnáno na plný úvazek více než 20 000 lidí, kteří poskytovali anotace pro školení LLM. I když data pocházejí z RL env, envs stále musely být záměrně ručně vytvořeny lidmi. A to je zde základní překážka: tyto modely jsou zcela závislé na lidském výstupu. Jsou interpolativní databází toho, co do nich vkládáme.

Mezitím se AGI ve skutečnosti zlepší tím, že jednoduše přidá více *compute*. Nebude omezena dostupností textu generovaného člověkem.