Nowy rekord prędkości NanoGPT na poziomie 106,9 (-2,3s) od @.andrewbriand i @.jrauvola na Githubie. Zauważyli, że kompilator torch wykonywał nieefektywny oddzielny kernel dla aktywacji Relu(x)^2, i dodali kernel triton, aby połączyć aktywację z wcześniejszą operacją liniową.

Nowy rekord prędkości NanoGPT na poziomie 109,2 (-3,5s) z kolejną nową(?) aktualizacją uwagi o nazwie Paired Head Attention. Zapytania mogą zwracać uwagę na klucze w sąsiedniej głowie, co umożliwia każdemu Q pobranie 2 wartości na pozycję docelową zamiast 1. 3% wpływu przy zerowej liczbie parametrów!

Nowy rekord prędkości NanoGPT na poziomie 112.7 (-1.0s), z wagami w bfloat16 z dodatkowymi 16 bitami w optymalizatorze i przeplatanymi komunikatami. Inspiracja od @YouJiacheng i @ChrisJMcCormick. Również optymalizator Adam, który wykonuje kroki dwa razy rzadziej niż Muon, ma lm_head beta1=0.5.