Todas as pessoas em choque sobre Rich Sutton ter opiniões muito ruins sobre LLMs (posso ir tão longe a ponto de usar o R), apenas lembrem-se de que muitos dos físicos mais ilustres e prestigiados do início do século descartaram a teoria quântica como sendo louca e errada.

O famoso ditado diz que "a ciência avança um funeral de cada vez" por uma razão. Você realmente encontra o ocasional velho como Kurzweil que entende isso completamente (ou pelo menos entendia há alguns anos), mas, em geral, é difícil para o cérebro idoso revisar radicalmente suas crenças anteriores.

Além disso, interajo com vários LLMs de fronteira por mais de 12 horas por dia, todos os dias, assim como muitos de vocês. Duvido que Sutton tenha usado intensivamente esses modelos para fazer trabalho criativo e altamente técnico nesse nível de intensidade, e, portanto, não tem a sensação visceral do que eles podem fazer.

“Uma nova verdade científica não triunfa convencendo os seus opositores e fazendo-os ver a luz, mas sim porque os seus opositores eventualmente morrem e uma nova geração cresce familiarizada com ela… Uma inovação científica importante raramente se impõe conquistando e convertendo gradualmente os seus opositores: raramente acontece que Saul se torna Paulo. O que acontece é que os seus opositores gradualmente desaparecem, e que a geração em crescimento se familiariza com as ideias desde o início: mais um exemplo do fato de que o futuro pertence à juventude.” — Max Planck, Autobiografia científica, 1950

Aliás, parte da razão pela qual Kurzweil compreendeu todas essas coisas claramente na sua velhice é que ele é praticamente o único (ok, talvez o clube tenha mais algumas pessoas) que previu isso consistentemente por muito tempo. Portanto, ele realmente não precisou revisar muito suas premissas.

Enquanto a maioria dos "cabelos grisalhos" da IA, como Sutton, viveu os primeiros dias, os neat vs scruffies, o Debate Lighthill, o Inverno da IA, Sistemas Especialistas, etc. Eles estão acostumados a coisas que parecem promissoras, mas que depois não funcionam realmente, apesar de muito alarde e investimento. Essa é a experiência anterior.

Mas a arquitetura Transformer é a primeira abstração totalmente diferenciável e Turing completa de um computador genérico universal com o nível certo de generalidade e poder expressivo, e finalmente encontramos os truques para treiná-los e temos os FLOPS e dados para fazer tudo isso agora.

E, como diz Ilya, esses modelos, "eles só querem aprender." É apenas altamente improvável a priori que tudo funcione na prática (embora talvez não, porque estamos cercados por exemplos ambulantes e falantes diariamente funcionando com muito menos de 300 watts). Mas na verdade funciona.

Mas mesmo assim, não é como se esta fosse uma observação sem precedentes na história da ciência. Quem poderia ter adivinhado a priori que se poderia explicar a maioria dos fenômenos físicos naturais observados ex-gravidade usando um produto direto de 3 grupos de Lie (ou seja, o Modelo Padrão da Física)?

Temos até um nome para isso: a "efetividade irreal" da matemática nas ciências naturais. Neste caso, multiplicação de matrizes iteradas, algumas não-linearidades simples e a regra da cadeia ao contrário com alguns truques para ajudar na estabilidade numérica e no fluxo de gradientes.

@goldstein_aa Tudo isso para dizer que a AGI já está aqui e é apenas por causa da incessante mudança de metas, habilidades de questionamento ruins e perguntas capciosas (que já foram em grande parte resolvidas) que alguém discute isso.