Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico+4,75%
USELESS
USELESS-6,92%
IKUN
IKUN-11,22%
gib
gib-1,45%
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk+1,62%
ALON
ALON+11,9%
LAUNCHCOIN
LAUNCHCOIN+0,32%
GOONC
GOONC-8,94%
KLED
KLED-17,47%
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP-0,02%
Boopa
Boopa-5,49%
PORK
PORK-3,82%
header
Larry Dial
Інженер з даних в AWS. та дослідження ШІ.
Larry Dial
Larry Dial12 січ., 10:52
Новий NanoGPT Speedrun WR на 106.9 (-2.3с) від @.andrewbriand та @.jrauvola на Github. Вони помітили, що компілятор torch виконує неефективне окреме ядро для активації Relu(x)^2, і додали тритонне ядро для злиття активації з попередньою лінійною операцією.
51
Larry Dial
Larry Dial8 січ., 02:06
Новий NanoGPT Speedrun WR на 109.2 (-3.5с) з ще одним новим (?) оновленням під назвою Paired Head Attention. Запити можуть звертати увагу на ключі в сусідній голові, дозволяючи кожному Q отримувати 2 значення на цільову позицію замість 1. 3% впливу для нульових параметрів!
71
Larry Dial
Larry Dial6 січ., 03:38
Новий NanoGPT Speedrun WR на частоті 112.7 (-1.0с), з вагами в bfloat16 з додатковими 16 бітами в оптимізаторі та інтерливованому зв'язку. Натхнення з @YouJiacheng і @ChrisJMcCormick. Також опт Адама, який крокує вдвічі частіше, ніж Мюон, має lm_head beta1=0.5.
79