新的 NanoGPT 速度挑戰世界紀錄為 106.9 秒（減少 2.3 秒），由 @.andrewbriand 和 @.jrauvola 在 Github 上創造。他們觀察到 torch 編譯器為 Relu(x)^2 激活執行了一個低效的單獨內核，並添加了一個 triton 內核來將激活融合到之前的線性操作中。

新的 NanoGPT 速度跑 WR 在 109.2 (-3.5s)，搭配另一個新穎的(?) 注意力升級，稱為配對頭注意力。查詢可以關注相鄰頭的鍵，使每個 Q 能夠在每個目標位置檢索 2 個值，而不是 1。對於零參數的影響為 3%!

新的 NanoGPT 速度跑 WR 為 112.7 (-1.0s)，特徵是使用 bfloat16 的權重，優化器中額外 16 位元，並進行交錯通訊。靈感來自 @YouJiacheng 和 @ChrisJMcCormick。此外，Adam 優化器的步伐頻率是 Muon 的一半，lm_head 的 beta1=0.5。