Neuer NanoGPT Speedrun WR bei 106,9 (-2,3s) von @.andrewbriand und @.jrauvola auf Github. Sie haben festgestellt, dass der Torch-Compiler einen ineffizienten separaten Kernel für die Relu(x)^2-Aktivierung ausgeführt hat und einen Triton-Kernel hinzugefügt, um die Aktivierung in den vorherigen linearen Operator zu fusionieren.

Neuer NanoGPT Speedrun WR bei 109,2 (-3,5s) mit einem weiteren neuartigen(?) Aufmerksamkeits-Upgrade namens Paired Head Attention. Abfragen können auf Schlüssel im benachbarten Kopf zugreifen, wodurch jedes Q 2 Werte pro Zielposition anstelle von 1 abrufen kann. 3% Einfluss bei null Parametern!

Neuer NanoGPT Speedrun WR bei 112,7 (-1,0s), mit Gewichten in bfloat16 und zusätzlichen 16 Bits im Optimierer sowie interleaved Comms. Inspiration von @YouJiacheng und @ChrisJMcCormick. Außerdem der Adam-Optimierer, der halb so oft wie Muon Schritte macht, hat lm_head beta1=0,5.