Новый рекорд скорости NanoGPT на уровне 106.9 (-2.3с) от @.andrewbriand и @.jrauvola на Github. Они заметили, что компилятор torch выполнял неэффективное отдельное ядро для активации Relu(x)^2 и добавили ядро triton, чтобы объединить активацию с предыдущей линейной операцией.

Новый рекорд скорости NanoGPT на уровне 109.2 (-3.5с) с другим новым(?) обновлением внимания под названием Paired Head Attention. Запросы могут обращаться к ключам в соседней голове, позволяя каждому Q извлекать 2 значения на каждую целевую позицию вместо 1. 3% влияние при нулевых параметрах!

Новый рекорд скорости NanoGPT на 112.7 (-1.0с), с использованием весов в bfloat16 с дополнительными 16 битами в оптимизаторе и чередующимися коммуникациями. Вдохновение от @YouJiacheng и @ChrisJMcCormick. Также оптимизатор Adam, который делает шаги вдвое реже, чем Muon, имеет lm_head beta1=0.5.