对于Rich Sutton对LLMs的非常糟糕的看法感到震惊的所有人（我甚至可以用R这个词来形容），请记住，许多在世纪之交最受尊敬和声望的老一辈物理学家曾经将量子理论视为疯狂和错误。

著名的说法是“科学的进步是一次一个葬礼”，这并非没有道理。你确实会遇到像库兹韦尔这样的老家伙，他完全理解这一点（或者至少在几年前是这样），但一般来说，老年人的大脑很难彻底修正先前的认知。

此外，我每天与多个前沿的LLM互动超过12小时，许多人也是如此。我怀疑萨顿是否在如此高强度的情况下深入使用这些模型进行创造性和高度技术性的工作，因此他对这些模型的能力没有那种直观的理解。

“一种新的科学真理并不是通过说服其反对者并使他们看到真理而胜利，而是因为其反对者最终死去，而新一代人长大后熟悉它…… 一种重要的科学创新很少通过逐渐赢得和转变其反对者而取得成功：很少发生扫罗变成保罗的情况。发生的情况是，反对者逐渐消亡，而成长的一代从一开始就熟悉这些思想：这是未来属于年轻人的又一个例证。” —— 马克斯·普朗克，《科学自传》，1950

顺便提一下，库兹韦尔在晚年能够清楚理解这些事情的部分原因是，他几乎是唯一一个（好吧，也许这个圈子里还有其他几个人）长期以来一直在持续预测这些的人。因此，他并不需要太多地修正自己的先验知识。

虽然大多数像萨顿这样的AI“老前辈”经历了早期的日子，包括整洁派与邋遢派、莱特希尔辩论、AI寒冬、专家系统等。他们习惯于一些看似有前景的东西，但尽管有很多炒作和投资，最终却并没有真正奏效。这就是过去。

但是，Transformer架构是第一个完全可微分的、图灵完备的通用计算机抽象，具有适当的通用性和表达能力，我们终于找到了训练它们的技巧，并且现在拥有足够的FLOPS和数据来完成这一切。

而且，正如伊利亚所说，这些模型“他们只是想学习”。在实践中，这一切成功的可能性是极低的（尽管也许不是，因为我们每天都被许多低于300瓦的行走和说话的例子所包围）。但实际上，它确实有效。

但即便如此，这并不是科学史上前所未有的观察。谁能事先猜到，你可以用3个李群的直积（即物理学标准模型）来解释大多数观察到的自然物理现象？

我们甚至给它起了个名字：数学在自然科学中的“非理性有效性”。在这种情况下，迭代矩阵乘法，一些简单的非线性，以及反向链式法则，辅以一些技巧以帮助数值稳定性和梯度流动。

@goldstein_aa 这就是说，AGI已经到来了，之所以有人对此提出异议，仅仅是因为不断移动的目标、糟糕的提示技巧和一些愚蠢的抓住把柄的问题（这些问题已经在很大程度上得到解决）。