リッチ・サットンがLLMについて非常に悪い見解を述べていることにショックを受けたすべての人々(R-slurまで使ってもいいかもしれません)、世紀の変わり目に最も威厳のある権威のある年配の物理学者の多くが量子論を狂ったものとして却下したことを思い出してください。

「科学が葬儀を一度に1つずつ前進させる」という有名なことわざには理由があります。カーツワイルのように完全に理解している老人が時折いますが(少なくとも数年前にはそうでした)、一般的に、高齢者の脳が事前確率を根本的に修正するのは困難です。

また、私は皆さんの多くと同じように、毎日1日12+時間、複数のフロンティアLLMとやり取りしています。サットンがこれらのモデルを集中的に使用して、そのレベルの強度で創造的で高度に技術的な作業を行ったため、何ができるかについて本能的な感覚を持っていないとは思えません。

「新しい科学的真実は、反対者を説得して光を見させることによって勝利するのではなく、むしろその反対者が最終的に死に、それに精通した新しい世代が成長するからです... 重要な科学的革新が、徐々に反対者を説得し、改宗させることによって実現することはめったになく、サウルがパウロになることはめったに起こりません。何が起こるかというと、その反対者は徐々に消滅し、成長する世代は最初からその考えに慣れているということであり、未来は若者にあるという事実のもう一つの例です。」 — マックス・プランク、科学自伝、1950 年

ちなみに、カーツワイルが老年期にこれらすべてを明確に理解した理由の一部は、長い間一貫してこれを予測したのは彼だけだからです(クラブにはさらに数人いるかもしれません)。したがって、彼は自分の事前設定をあまり修正する必要はありませんでした。

サットンのような AI の「白髪」のほとんどは、初期の頃、ニート vs だらしない人、ライトヒル ディベート、AI ウィンター、エキスパート システムなどを生きてきました。彼らは、有望に見えるものの、多くの誇大宣伝や投資にもかかわらず実際には機能しないものに慣れています。それが前です。

しかし、Transformerアーキテクチャは、適切なレベルの一般性と表現力を備えたユニバーサルジェネリックコンピューターの最初の完全に微分可能なチューリング完全抽象化であり、私たちはついにそれらをトレーニングし、それをすべて行うためのFLOPSとデータを手に入れるためのトリックを見つけました。

そして、イリヤが言うように、これらのモデルは「ただ学びたいだけだ」のです。すべてが実際にうまくいく可能性はアプリオリに非常に低いです(ただし、私たちが毎日300ワット未満で走っている歩き方や話す例に囲まれているからではないかもしれません)。しかし、実際にはそうです。

しかし、それでも、これが科学史上前例のない観察というわけではありません。観察されたほとんどの自然物理現象を、3つのリー群の直接積(別名物理学の標準モデル)を使用して重力外で説明できるとは誰が先験的に推測できたでしょうか?

私たちはそれにさえ名前を持っています:自然科学における数学の「不合理な有効性」。この場合、反復行列の乗算、いくつかの単純な非線形性、および数値の安定性と勾配の流れに役立ついくつかのトリックを備えた逆の連鎖法則。

@goldstein_aa つまり、AGI はすでにここにあり、ゴールポストの絶え間ない移動、下手なプロンプト スキル、そして愚かな落とし穴 (すでに大部分が解決されている) のせいで、誰もがそれに異議を唱えるだけです。