Nuevo récord de velocidad de NanoGPT en 106.9 (-2.3s) de @.andrewbriand y @.jrauvola en Github. Observaron que el compilador de torch estaba ejecutando un kernel separado ineficiente para la activación Relu(x)^2, y añadieron un kernel triton para fusionar la activación en la operación lineal anterior.

Nuevo récord de velocidad de NanoGPT en 109.2 (-3.5s) con otra mejora novedosa(?) de atención llamada Atención de Cabeza Emparejada. Las consultas pueden asistir a las claves en la cabeza vecina, permitiendo que cada Q recupere 2 valores por posición objetivo en lugar de 1. ¡Impacto del 3% sin parámetros!

Nuevo récord de velocidad de NanoGPT en 112.7 (-1.0s), con pesos en bfloat16 y 16 bits extra en el optimizador y comunicaciones entrelazadas. Inspiración de @YouJiacheng y @ChrisJMcCormick. También el optimizador Adam, que da pasos la mitad de veces que Muon, tiene lm_head beta1=0.5.