NanoGPT Speedrun WR baru di 106.9 (-2.3 detik) dari @.andrewbriand dan @.jrauvola di Github. Mereka mengamati bahwa kompiler obor sedang menjalankan kernel terpisah yang tidak efisien untuk aktivasi Relu(x)^2, dan menambahkan kernel triton untuk menggabungkan aktivasi ke dalam operasi linier sebelumnya.

NanoGPT Speedrun WR baru pada 109.2 (-3.5 detik) dengan peningkatan baru lainnya yang disebut Paired Head Attention. Kueri dapat menangani kunci di kepala tetangga, memungkinkan setiap Q untuk mengambil 2 nilai per posisi target, bukan 1. Dampak 3% untuk nol param!

NanoGPT Speedrun WR baru pada 112,7 (-1,0 detik), menampilkan bobot dalam bfloat16 dengan 16 bit ekstra dalam pengoptimal dan komunikasi interleaved. Inspirasi dari @YouJiacheng dan @ChrisJMcCormick. Juga pilihan Adam, yang melangkah setengah lebih sering dari Muon, memiliki lm_head beta1 = 0,5.