Un nou NanoGPT Speedrun WR la 106.9 (-2.3s) de la @.andrewbriand și @.jrauvola pe Github. Au observat că compilatorul torch executa un nucleu separat ineficient pentru activarea Relu(x)^2 și au adăugat un nucleu triton pentru a fuziona activarea în operațiunea liniară anterioară.

Un nou NanoGPT Speedrun WR la 109.2 (-3.5s) cu o altă actualizare nouă (?) de atenție numită Atenție la Capete Împerecheate. Interogările pot asista la chei din capul vecin, permițând fiecărui Q să obțină 2 valori pentru fiecare poziție țintă în loc de 1. 3% impact pentru zero parametri!

Noul NanoGPT Speedrun WR la 112.7 (-1.0s), cu greutăți în bfloat16 cu 16 biți suplimentari în optimizer și comunicații intercalate. Inspirație din @YouJiacheng și @ChrisJMcCormick. De asemenea, Adam opt, care face pași de jumătate din cele mai frecvente decât Muon, are lm_head beta1=0,5.