Novo Speedrun WR NanoGPT em 106,9 (-2,3s) de @.andrewbriand e @.jrauvola no Github. Eles observaram que o compilador torch estava executando um kernel separado ineficiente para a ativação do Relu(x)^2, e adicionaram um kernel triton para fundir a ativação na operação linear anterior.

Novo NanoGPT Speedrun WR em 109,2 (-3,5s) com outra atualização inovadora chamada Paired Head Attention. Consultas podem atender chaves na cabeça vizinha, permitindo que cada Q recupere 2 valores por posição alvo em vez de 1. 3% de impacto para zero parámetros!

Novo NanoGPT Speedrun WR em 112,7 (-1,0s), com pesos em bfloat16 com 16 bits extras no otimizador e comunicações intercaladas. Inspiração de @YouJiacheng e @ChrisJMcCormick. Além disso, o Adam op, que pisa metade da frequência que Muon, tem lm_head beta1=0,5.