新的 NanoGPT 速度记录在 106.9 秒（减少 2.3 秒），由 @.andrewbriand 和 @.jrauvola 在 Github 上创下。他们观察到 torch 编译器为 Relu(x)^2 激活执行了一个低效的单独内核，并添加了一个 triton 内核将激活与之前的线性操作融合。

新的 NanoGPT 速度记录为 109.2 秒（减少 3.5 秒），并引入了一种名为配对头注意力（Paired Head Attention）的新颖注意力升级。查询可以关注相邻头中的键，使得每个 Q 能够在每个目标位置检索 2 个值，而不是 1 个。对于零参数来说，影响为 3%！

新的 NanoGPT 速度记录为 112.7 (-1.0s)，采用 bfloat16 权重，优化器中额外 16 位，并进行交错通信。灵感来自 @YouJiacheng 和 @ChrisJMcCormick。此外，Adam 优化器的步长是 Muon 的一半，lm_head 的 beta1=0.5。