Všichni lidé v šoku z toho, že Rich Sutton má velmi špatný názor na LLM (mohl bych zajít tak daleko, že bych použil R-nadávku), jen si vzpomeňte, že mnozí z nejvznešenějších a nejprestižnějších starších fyziků na přelomu století zavrhli kvantovou teorii jako šílenou a špatnou.

Slavné rčení říká, že "věda postupuje vpřed jeden pohřeb za druhým" z nějakého důvodu. Občas se najde nějaký starý chlápek jako Kurzweil, který to pochopí úplně (nebo alespoň před pár lety), ale obecně je pro starší mozek těžké radikálně revidovat apriory.

Také komunikuji s několika hraničními LLM 12+ hodin denně každý den, stejně jako mnozí z vás. Pochybuji, že Sutton intenzivně používal tyto modely k tomu, aby dělal kreativní, vysoce technickou práci na takové úrovni intenzity, a proto nemá ten druh niterného smyslu pro to, co dokážou.

"Nová vědecká pravda netriumfuje tím, že přesvědčí své oponenty a přiměje je spatřit světlo, ale spíše proto, že její oponenti nakonec zemřou a vyroste nová generace, která je s ní obeznámena... Důležitá vědecká inovace se jen zřídka prosadí tak, že by postupně získávala a obracela své odpůrce: zřídka se stává, že by se Saul stal Pavlem. Dochází k tomu, že její odpůrci postupně vymírají a dorůstající generace je s myšlenkami obeznámena od samého počátku: další příklad toho, že budoucnost patří mládeži." — Max Planck, Vědecká autobiografie, 1950

Mimochodem, jedním z důvodů, proč Kurzweil ve svém stáří jasně rozuměl všem těmto věcem, je to, že byl prakticky jediný (dobře, možná má klub ještě pár lidí), kdo to po dlouhou dobu konzistentně předpovídal. Takže vlastně nepotřeboval příliš revidovat své apriory.

Zatímco většina "šedých vlasů" umělé inteligence, jako je Sutton, žila v počátcích, úhlední vs šmejdi, debata v Lighthillu, AI Winter, Expertní systémy atd. Jsou zvyklí na věci, které vypadají slibně, ale pak ve skutečnosti nefungují, navzdory spoustě humbuku a investic. To je předchozí.

Ale architektura Transformeru je první plně diferencovatelná, Turingova kompletní abstrakce univerzálního generického počítače se správnou úrovní obecnosti a expresivní síly, a my jsme konečně našli triky, jak je trénovat a mít FLOPS a data, jak to všechno dělat už teď.

A jak říká Ilja, tyto modely "se prostě chtějí učit". Je jen velmi nepravděpodobné a priori, že by to všechno fungovalo v praxi (i když možná ne proto, že jsme obklopeni chodícími, mluvícími příklady, které denně běhají s mnohem menším výkonem než 300 wattů). Ale ve skutečnosti tomu tak je.

Ale ani tak to není tak, že by to bylo bezprecedentní pozorování v historii vědy. Kdo mohl a priori odhadnout, že většinu pozorovaných přírodních fyzikálních jevů lze vysvětlit ex-gravitací pomocí přímého součinu 3 Lieových grup (neboli Standardního modelu fyziky)?

Máme pro to dokonce název: "nerozumná efektivita" matematiky v přírodních vědách. V tomto případě iterované násobení matic, některé jednoduché nelinearity a pravidlo řetězce obrácené s některými triky, které pomáhají s numerickou stabilitou a gradientním tokem.

@goldstein_aa To vše znamená, že AGI je již zde a je to jen kvůli neustálému posouvání cílových postů, špatným schopnostem nápovědy a hloupým gotcha otázkám (které již byly z velké části vyřešeny), že to někdo zpochybňuje.