Новый рекорд скорости NanoGPT на уровне 109.2 (-3.5с) с другим новым(?) обновлением внимания под названием Paired Head Attention. Запросы могут обращаться к ключам в соседней голове, позволяя каждому Q извлекать 2 значения на каждую целевую позицию вместо 1. 3% влияние при нулевых параметрах!