Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico+1,98 %
USELESS
USELESS−12,98 %
IKUN
IKUN−11,98 %
gib
gib−3,33 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk−0,34 %
ALON
ALON+5,73 %
LAUNCHCOIN
LAUNCHCOIN−12,56 %
GOONC
GOONC+8,52 %
KLED
KLED−19,19 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP−0,18 %
Boopa
Boopa−6,07 %
PORK
PORK−3,82 %
header
Larry Dial
Dataingeniør hos AWS. og AI-forskning.
Larry Dial
Larry Dial12. jan., 10:52
Ny NanoGPT Speedrun WR på 106,9 (-2,3s) fra @.andrewbriand og @.jrauvola på Github. De observerte at torch-kompilatoren utførte en ineffektiv separat kjerne for Relu(x)^2-aktiveringen, og la til en triton-kjerne for å fusjonere aktiveringen inn i den tidligere lineære operasjonen.
24
Larry Dial
Larry Dial8. jan., 02:06
Ny NanoGPT Speedrun WR på 109,2 (-3,5 s) med en annen ny(?) attn-oppgradering kalt Paired Head Attention. Spørringer kan ta seg av nøkler i nabohodet, slik at hver Q kan hente 2 verdier per målposisjon i stedet for 1. 3 % innvirkning uten noen paramer!
66
Larry Dial
Larry Dial6. jan., 03:38
Ny NanoGPT Speedrun WR på 112,7 (-1,0s), med vekter i bfloat16 med ekstra 16 biter i optimalisator og interleaved comms. Inspirasjon fra @YouJiacheng og @ChrisJMcCormick. Også Adam-opt, som trår halvparten så ofte som Muon, har lm_head beta1=0,5.
75