Nieuwe NanoGPT Speedrun WR op 106,9 (-2,3s) van @.andrewbriand en @.jrauvola op Github. Ze observeerden dat de torch-compiler een inefficiënte aparte kernel uitvoerde voor de Relu(x)^2-activatie en voegden een triton-kernel toe om de activatie te fuseren met de voorgaande lineaire bewerking.

Nieuwe NanoGPT Speedrun WR op 109,2 (-3,5s) met een andere nieuwe (?) attn-upgrade genaamd Paired Head Attention. Vragen kunnen zich richten op sleutels in de aangrenzende kop, waardoor elke Q 2 waarden per doelpositie kan ophalen in plaats van 1. 3% impact voor nul parameters!

Nieuwe NanoGPT Speedrun WR op 112,7 (-1,0s), met gewichten in bfloat16 met extra 16 bits in de optimizer en interleaved comms. Inspiratie van @YouJiacheng en @ChrisJMcCormick. Ook de Adam-opt, die half zo vaak stappen als Muon, heeft lm_head beta1=0,5.