Всі люди, шоковані тим, що Річ Саттон дуже погано ставиться до LLM (чи можу я зайти так далеко, щоб використовувати R-slur), просто пам'ятайте, що багато хто з найбільш поважних і престижних фізиків старшого віку на рубежі століть відкидали квантову теорію як божевільну і неправильну.

Відома приказка говорить: «Наука просуває по одному похорону за раз» не просто так. У вас є випадковий старий хлопець на кшталт Курцвейла, який повністю розуміє це (або принаймні розумів це кілька років тому), але загалом літньому мозку важко радикально переглянути апріорні.

Крім того, я взаємодію з кількома прикордонними LLM щодня по 12+ годин на день, як і багато хто з вас. Я сумніваюся, що Саттон інтенсивно використовував ці моделі для виконання творчої, високотехнічної роботи на такому рівні інтенсивності, і тому не має такого інтуїтивного відчуття того, що вони можуть зробити.

«Нова наукова істина торжествує не тому, що переконує своїх опонентів і змушує їх побачити світло, а скоріше тому, що її противники врешті-решт гинуть і виростає нове покоління, знайоме з нею... Важливе наукове нововведення рідко пробиває собі дорогу, поступово завойовуючи і навертаючи своїх супротивників: рідко трапляється, що Савл стає Павлом. Трапляється так, що її опоненти поступово вимирають, а підростаюче покоління знайомиться з ідеями з самого початку: ще один приклад того, що майбутнє за молоддю». — Макс Планк, Наукова автобіографія, 1950

До речі, одна з причин, чому Курцвейл чітко розумів усі ці речі на старості, полягає в тому, що він практично єдиний (добре, можливо, в клубі є ще кілька людей), хто стабільно передбачав це протягом тривалого часу. Тож йому не потрібно було сильно переглядати свої пріори.

У той час як більшість «сивих волосків» штучного інтелекту, таких як Саттон, жили в перші дні, акуратні проти неохайних, дебати Lighthill, AI Winter, Expert Systems тощо. Вони звикли до того, що речі виглядають перспективно, але потім не дуже працюють, незважаючи на великий ажіотаж та інвестиції. Це апріор.

Але архітектура Трансформера - це перша повністю диференційована, повна абстракція Тюрінга універсального універсального комп'ютера з потрібним рівнем загальності і виразної потужності, і ми нарешті знайшли трюки для їх навчання і маємо FLOPS і дані, щоб робити все це зараз.

І, як каже Ілля, ці моделі, «вони просто хочуть вчитися». Просто вкрай малоймовірно, що апріорі все вийде на практиці (хоча, можливо, і не тому, що нас оточує ходьба, розмовляючи прикладами, які щодня працюють на набагато менше 300 Вт). Але це насправді так.

Але навіть у цьому випадку це не безпрецедентне спостереження в історії науки. Хто б міг апріорі здогадатися, що можна пояснити більшість спостережуваних природних фізичних явищ за допомогою прямого добутку 3 груп Лі (так звана Стандартна модель фізики)?

У нас навіть є для цього назва: «необґрунтована ефективність» математики в природничих науках. У цьому випадку ітероване множення матриць, деякі прості нелінійності та правило ланцюга у зворотному порядку з деякими хитрощами, які допомагають із числовою стабільністю та градієнтним потоком.

@goldstein_aa Все це говорить про те, що AGI вже тут, і лише через безперервне переміщення стійки воріт, погані навички підказки та дурні питання (які вже значною мірою вирішені) хтось сперечається з цим.