Наратив навколо LLM полягає в тому, що вони стали кращими виключно за рахунок масштабування попереднього навчання *compute*. Насправді, вони стали кращими, масштабувавши попереднє навчання *даних*, тоді як обчислення є лише засобом для досягнення мети вписування більшої кількості даних у модель. Дані – це фундаментальне вузьке місце. Ви не можете масштабувати обчислення перед навчанням без додаткових даних. І до сих пір ці дані були в основному створені людиною - понад 20 000 чоловік були зайняті повний робочий день протягом останніх кількох років, щоб надавати анотації для навчання магістрів права. Навіть коли дані надходять від RL envs, envs все одно повинні були бути спеціально створені вручну людьми. І це фундаментальне вузьке місце: ці моделі повністю залежать від людської продукції. Вони є інтерполяційною базою даних того, що ми в них вносимо.

Тим часом, AGI насправді стане кращим, просто додавши більше *обчислень*. Він не буде вузьким місцем через наявність тексту, створеного людиною.