Tutte le persone sono scioccate per le pessime opinioni di Rich Sutton sugli LLM (posso spingermi a usare il termine R), ricordate che molti dei fisici più illustri e prestigiosi all'inizio del secolo hanno liquidato la teoria quantistica come qualcosa di folle e sbagliato.

Il famoso detto dice "la scienza avanza un funerale alla volta" per una ragione. Ogni tanto ci si imbatte in qualche vecchio come Kurzweil che lo capisce completamente (o almeno lo capiva un paio di anni fa), ma in generale è difficile per il cervello anziano rivedere radicalmente le proprie convinzioni.

Inoltre, interagisco con diversi LLM di frontiera per oltre 12 ore al giorno, ogni giorno, proprio come molti di voi. Dubito che Sutton abbia utilizzato intensamente questi modelli per svolgere lavori creativi e altamente tecnici a quel livello di intensità, e quindi non ha quel tipo di percezione viscerale su cosa possano fare.

“Una nuova verità scientifica non trionfa convincendo i suoi avversari e facendoli vedere la luce, ma piuttosto perché i suoi avversari alla fine muoiono e una nuova generazione cresce che le è familiare… Un'importante innovazione scientifica raramente si fa strada vincendo gradualmente e convertendo i suoi avversari: raramente accade che Saul diventi Paolo. Ciò che accade è che i suoi avversari gradualmente si estinguono, e che la generazione in crescita si familiarizza con le idee fin dall'inizio: un'altra istanza del fatto che il futuro appartiene ai giovani.” — Max Planck, Autobiografia scientifica, 1950

A proposito, parte del motivo per cui Kurzweil ha compreso chiaramente tutte queste cose nella sua vecchiaia è che è praticamente l'unico (ok, forse il club ha qualche altra persona al suo interno) che ha previsto costantemente questo per molto tempo. Quindi non ha davvero dovuto rivedere molto le sue convinzioni.

Mentre la maggior parte dei "grandi esperti" dell'AI come Sutton ha vissuto i primi giorni, il dibattito tra neats e scruffies, il dibattito Lighthill, l'inverno dell'AI, i sistemi esperti, ecc. Sono abituati a situazioni che sembrano promettenti ma poi non funzionano davvero nonostante un sacco di hype e investimenti. Questo è il passato.

Ma l'architettura Transformer è la prima astrazione completamente differenziabile e Turing completa di un computer generico universale con il giusto livello di generalità e potere espressivo, e finalmente abbiamo trovato i trucchi per addestrarli e abbiamo i FLOPS e i dati per farlo tutto ora.

E, come dice Ilya, questi modelli, "vogliono solo imparare." È semplicemente molto improbabile a priori che tutto funzioni nella pratica (anche se forse non perché siamo circondati da esempi viventi e parlanti che funzionano con molto meno di 300 watt). Ma in realtà funziona.

Ma anche in quel caso, non è che si tratti di un'osservazione senza precedenti nella storia della scienza. Chi avrebbe potuto prevedere a priori che si potessero spiegare la maggior parte dei fenomeni fisici naturali osservati ex-gravità utilizzando un prodotto diretto di 3 gruppi di Lie (alias, il Modello Standard della Fisica)?

Abbiamo persino un nome per questo: l'"efficacia irragionevole" della matematica nelle scienze naturali. In questo caso, la moltiplicazione di matrici iterata, alcune semplici non linearità e la regola della catena al contrario con alcuni trucchi per aiutare con la stabilità numerica e il flusso del gradiente.

@goldstein_aa Tutto ciò per dire che l'AGI è già qui e solo a causa di continui spostamenti dei traguardi, cattive abilità di prompting e domande stupide (che sono già state in gran parte risolte) che qualcuno contesta questo.