Trendande ämnen
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico+2,21 %
USELESS
USELESS−10,54 %
IKUN
IKUN−12,13 %
gib
gib−3,02 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk−0,11 %
ALON
ALON+5,51 %
LAUNCHCOIN
LAUNCHCOIN−10,6 %
GOONC
GOONC+9,87 %
KLED
KLED−21,53 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP−0,18 %
Boopa
Boopa−5,69 %
PORK
PORK−3,82 %
header
Larry Dial
Dataingenjör på AWS. och AI-forskning.
Larry Dial
Larry Dial12 jan. 10:52
Ny NanoGPT Speedrun WR på 106,9 (-2,3 s) från @.andrewbriand och @.jrauvola på Github. De observerade att torchkompilatorn körde en ineffektiv separat kärna för Relu(x)^2-aktiveringen, och lade till en tritonkärna för att fusionera aktiveringen med den föregående linjära operationen.
26
Larry Dial
Larry Dial8 jan. 02:06
Ny NanoGPT Speedrun WR på 109,2 (-3,5 s) med en annan ny(?) attn-uppgradering kallad Paired Head Attention. Frågor kan ta hand om nycklar i det närliggande huvudet, vilket gör att varje Q kan hämta 2 värden per målposition istället för 1. 3% påverkan utan några params!
67
Larry Dial
Larry Dial6 jan. 03:38
Ny NanoGPT Speedrun WR på 112,7 (-1,0 s), med vikter i bfloat16 med extra 16 bitar i optimeraren och interleaved comms. Inspiration från @YouJiacheng och @ChrisJMcCormick. Dessutom har Adam opt, som går hälften så ofta som Muon, lm_head beta1=0,5.
76