NanoGPT Speedrun WR جديد بسرعة 106.9 (-2.3 ثانية) من @.andrewbriand و @.jrauvola على Github. لاحظوا أن مترجم الشعلة كان ينفذ نواة منفصلة غير فعالة لتفعيل Relu(x)^2، وأضافوا نواة ترايتون لدمج التفعيل مع العملية الخطية السابقة.

NanoGPT Speedrun WR الجديد بسرعة 109.2 (-3.5 ثانية) مع ترقية جديدة أخرى تسمى Paired Head Attention. يمكن للاستفسارات معالجة المفاتيح في الرأس المجاور، مما يمكن كل Q من استرجاع قيمتين لكل موضع هدف بدلا من 1. تأثير 3٪ مقابل صفر برام فقط!

جهاز NanoGPT Speedrun WR الجديد بسرعة 112.7 (-1.0 ثانية)، ويتميز بأوزان في bfloat16 مع 16 بت إضافية في المحسن والاتصالات المتداخلة. إلهام من @YouJiacheng و@ChrisJMcCormick. أيضا اختيار آدم، الذي يخطو نصف عدد مرات ميون، له lm_head beta1=0.5.