關於大型語言模型（LLMs）的敘述是，它們僅僅通過擴大預訓練的計算能力而變得更好。實際上，它們是通過擴大預訓練的數據而變得更好，而計算能力只是將更多數據塞入模型的手段。數據是根本的瓶頸。沒有更多的數據，你無法擴大預訓練的計算能力。 到目前為止，這些數據主要是人類生成的——過去幾年中，有超過20,000人全職工作，提供註釋以訓練LLMs。即使數據來自強化學習環境，這些環境仍然必須由人類精心設計。 這就是這裡的根本瓶頸：這些模型完全依賴於人類的輸出。它們是我們輸入的內容的插值數據庫。

同時，AGI 實際上會通過簡單地增加更多的 *計算能力* 而變得更好。它不會受到人類生成文本可用性的瓶頸。