Diesmal ist es tatsächlich anders. LLMs als bloße „Vorhersager des nächsten Tokens“ abzutun, ist ebenso albern und reduktiv, wie ein Gehirn als bloße „Ansammlung von Neuronen, die elektrochemische Signale ausführen“ zu beschreiben. Der überzeugendste Beweis ist ihre extreme Universalität über verschiedene Modalitäten hinweg.

Wenn dir jemand 2005 gesagt hätte, dass 20 Jahre später der absolute Stand der Technik bei Spracherkennungsalgorithmen dasselbe grundlegende System (tiefe neuronale Netze mit Aufmerksamkeit) ist wie bei den besten Bildverkennungsalgorithmen…

…was auch zufällig das Gleiche war wie die beste natürliche Sprachtextgenerierung, die beste Sprachsynthese, die beste Bildgenerierung usw., würden Sie wahrscheinlich denken, sie wären schizophren oder zumindest würden sie Unsinn reden. Denn jeder dieser Bereiche hatte früher seine eigenen Techniken.

Eines der Schlüsselkonzepte der wissenschaftlichen Methode und des rationalen Denkens im Allgemeinen ist die starke Bevorzugung von Erklärungen und Theorien, die extreme Sparsamkeit aufweisen, bei denen man viel mehr herausbekommt, als man hineinsteckt. Wie Maxwells 4 Gleichungen, die Hunderte von verschiedenen Dingen erklären.

Außerhalb der Physik ist es schwer, ein besseres Beispiel für einen einzelnen Mechanismus oder ein System zu finden, das aus so wenig so viel machen kann. All diese Komplexität durch ein einheitliches Konzept zu ersetzen (das zufällig in idealisierter Form eng dem ähnelt, wie das menschliche Gehirn funktioniert)…