Все люди в шоке от того, что Рич Саттон имеет очень плохие мнения о LLM (могу ли я так далеко зайти, чтобы использовать R-слово), просто помните, что многие из самых уважаемых и престижных старших физиков на рубеже века отвергали квантовую теорию как безумную и неправильную.

Известная пословица гласит: "наука продвигается на одних похоронах" не без причины. Иногда встречаются старики, такие как Курцвейл, которые понимают это полностью (или, по крайней мере, понимали пару лет назад), но в целом пожилому мозгу трудно радикально пересмотреть свои прежние взгляды.

Кроме того, я взаимодействую с несколькими передовыми LLM более 12 часов в день каждый день, как и многие из вас. Я сомневаюсь, что Саттон интенсивно использовал эти модели для творческой, высокотехнической работы на таком уровне интенсивности, и, следовательно, не имеет такого интуитивного понимания того, на что они способны.

«Новая научная истина не побеждает, убеждая своих противников и заставляя их увидеть свет, а скорее потому, что ее противники в конечном итоге умирают, и новое поколение вырастает, знакомое с ней… Важная научная инновация редко пробивается, постепенно завоевывая и обращая своих противников: редко бывает, что Саул становится Павлом. Что происходит, так это то, что ее противники постепенно вымирают, и растущее поколение знакомится с идеями с самого начала: еще один пример того, что будущее принадлежит молодежи.» — Макс Планк, Научная автобиография, 1950

Кстати, часть причины, по которой Курцвейл ясно понимал все это в своем пожилом возрасте, заключается в том, что он практически единственный (ладно, возможно, в клубе есть еще несколько человек), кто последовательно предсказывал это в течение долгого времени. Поэтому ему не нужно было сильно пересматривать свои предположения.

В то время как большинство "серых" специалистов по ИИ, таких как Саттон, пережили ранние дни, споры между аккуратными и неаккуратными, дебаты Лайтхилла, зиму ИИ, экспертные системы и т.д. Они привыкли к тому, что некоторые вещи выглядят многообещающе, но затем на самом деле не работают, несмотря на много шума и инвестиций. Это и есть предыстория.

Но архитектура Transformer — это первая полностью дифференцируемая, тьюринговская абстракция универсального общего компьютера с правильным уровнем общности и выразительной мощи, и мы наконец нашли приемы для их обучения и имеем FLOPS и данные, чтобы сделать это все сейчас.

И, как говорит Илья, эти модели "они просто хотят учиться". Просто крайне маловероятно a priori, что все это сработает на практике (хотя, возможно, и нет, потому что мы ежедневно окружены ходячими, говорящими примерами, работающими на гораздо меньшем количестве, чем 300 ватт). Но на самом деле это так.

Но даже тогда это не такое уж беспрецедентное наблюдение в истории науки. Кто мог бы заранее предположить, что можно объяснить большинство наблюдаемых естественных физических явлений, исключая гравитацию, с помощью прямого произведения 3 групп Ли (так называемая Стандартная модель физики)?

У нас даже есть название для этого: «необоснованная эффективность» математики в естественных науках. В данном случае это итерационное умножение матриц, некоторые простые нелинейности и правило цепи в обратном порядке с некоторыми трюками для помощи с численной стабильностью и потоком градиента.

@goldstein_aa Все это говорит о том, что AGI уже здесь, и только из-за постоянного изменения условий, плохих навыков формулирования запросов и глупых вопросов-ловушек (которые уже в значительной степени решены) кто-то это оспаривает.