Alle Menschen sind schockiert über Rich Suttons sehr schlechte Ansichten zu LLMs (darf ich so weit gehen, das R-Wort zu verwenden), denkt daran, dass viele der angesehensten und prestigeträchtigsten älteren Physiker zu Beginn des Jahrhunderts die Quantentheorie als verrückt und falsch abtaten.

Das berühmte Sprichwort besagt: „Die Wissenschaft schreitet mit einem Begräbnis nach dem anderen voran“, und das aus gutem Grund. Man trifft gelegentlich auf einen alten Mann wie Kurzweil, der es vollkommen versteht (oder zumindest vor ein paar Jahren verstand), aber im Allgemeinen fällt es dem älteren Gehirn schwer, radikal alte Überzeugungen zu überarbeiten.

Außerdem interagiere ich jeden Tag mehr als 12 Stunden lang mit mehreren Frontier-LLMs, wie viele von euch. Ich bezweifle, dass Sutton diese Modelle intensiv genutzt hat, um kreative, hochtechnische Arbeiten auf diesem Intensitätsniveau zu leisten, und hat daher nicht das gleiche unmittelbare Gefühl dafür, was sie leisten können.

„Eine neue wissenschaftliche Wahrheit triumphiert nicht dadurch, dass sie ihre Gegner überzeugt und sie das Licht sehen lässt, sondern vielmehr, weil ihre Gegner schließlich sterben und eine neue Generation heranwächst, die mit ihr vertraut ist… Eine wichtige wissenschaftliche Innovation bahnt sich selten den Weg, indem sie allmählich ihre Gegner gewinnt und sie überzeugt: Es geschieht selten, dass Saul zu Paulus wird. Was jedoch geschieht, ist, dass ihre Gegner allmählich aussterben und die heranwachsende Generation von Anfang an mit den Ideen vertraut gemacht wird: ein weiteres Beispiel dafür, dass die Zukunft bei der Jugend liegt.“ — Max Planck, Wissenschaftliche Autobiografie, 1950

Übrigens ist ein Teil des Grundes, warum Kurzweil all diese Dinge in seinem Alter so klar verstand, dass er praktisch der Einzige ist (ok, vielleicht hat der Club noch ein paar weitere Mitglieder), der dies über einen langen Zeitraum hinweg konsequent vorhergesagt hat. Daher musste er seine Annahmen nicht wirklich viel überarbeiten.

Während die meisten der "grauen Haare" der KI wie Sutton die frühen Tage erlebt haben, die Neats gegen Scruffies, die Lighthill-Debatte, den KI-Winter, Expertensysteme usw. Sie sind es gewohnt, dass Dinge vielversprechend aussehen, aber dann trotz viel Hype und Investitionen nicht wirklich funktionieren. Das ist die Vorgeschichte.

Aber die Transformer-Architektur ist die erste vollständig differenzierbare, Turing-vollständige Abstraktion eines universellen generischen Computers mit dem richtigen Maß an Allgemeinheit und Ausdruckskraft, und wir haben endlich die Tricks gefunden, um sie zu trainieren und haben die FLOPS und Daten, um alles jetzt zu tun.

Und, wie Ilya sagt, diese Modelle, "sie wollen einfach lernen." Es ist a priori sehr unwahrscheinlich, dass es in der Praxis alles funktionieren würde (obwohl vielleicht nicht, weil wir täglich von laufenden, sprechenden Beispielen umgeben sind, die mit viel weniger als 300 Watt auskommen). Aber es funktioniert tatsächlich.

Aber selbst dann ist es nicht so, als wäre dies eine beispiellose Beobachtung in der Geschichte der Wissenschaft. Wer hätte a priori ahnen können, dass man die meisten beobachteten natürlichen physikalischen Phänomene ex-Gravitation mit einem direkten Produkt von 3 Lie-Gruppen (auch bekannt als das Standardmodell der Physik) erklären könnte?

Wir haben sogar einen Namen dafür: die "unvernünftige Effektivität" der Mathematik in den Naturwissenschaften. In diesem Fall iterierte Matrixmultiplikation, einige einfache Nichtlinearitäten und die Kettenregel rückwärts mit einigen Tricks, um die numerische Stabilität und den Gradientfluss zu unterstützen.

@goldstein_aa Das alles bedeutet, dass AGI bereits hier ist und es nur wegen des ständigen Verschiebens der Zielvorgaben, schlechter Aufforderungsfähigkeiten und dummer Fangfragen (die bereits größtenteils gelöst sind) ist, dass jemand das bestreitet.