Githubの@.andrewbriandと@.jrauvolaから、106.9(-2.3秒)の新しいNanoGPT Speedrun WR。彼らはトーチコンパイラがRelu(x)^2の活性化のために非効率な別カーネルを実行していることに気づき、その活性化を前の線形操作に融合させるためにトリトンカーネルを追加しました。

新しいNanoGPT Speedrun West Runnerは109.2(-3.5秒)で、Paired Head Attentionという新しい(?)のアタックなアップグレードも導入されました。クエリは隣接するヘッドのキーに注意を向けることができ、各Qがターゲット位置ごとに1つの値ではなく2つの値を取得できるようにします。ゼロパラメータで3%の影響!

新しいNanoGPT Speedrun WRは112.7(-1.0秒)で、bfloat16の重みとオプティマイザーおよびインターリーブ通信で追加16ビットの重みを特徴としています。@YouJiachengと@ChrisJMcCormickからのインスピレーション。また、アダム・オプトはミューオンの半分の頻度で、beta1=0.5 lm_headします。