Trendaavat aiheet
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico−2,32 %
USELESS
USELESS−9,59 %
IKUN
IKUN−15,17 %
gib
gib−2,69 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk−0,68 %
ALON
ALON+4,5 %
LAUNCHCOIN
LAUNCHCOIN−3,82 %
GOONC
GOONC+3,76 %
KLED
KLED+0,26 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP−0,62 %
Boopa
Boopa−7,92 %
PORK
PORK−3,82 %
header
Larry Dial
Data-insinööri AWS:llä. & tekoälytutkimus.
Larry Dial
Larry Dial12.1. klo 10.52
Uusi NanoGPT Speedrun WR nopeudella 106,9 (-2,3s) @.andrewbriandilta ja @.jrauvola Githubissa. He havaitsivat, että torch-kääntäjä suoritti tehotonta erillistä ydintä Relu(x)^2-aktivointia varten, ja lisäsivät tritoniytimen sulattamaan aktivoinnin aiempaan lineaariseen operaatioon.
6
Larry Dial
Larry Dial8.1. klo 02.06
Uusi NanoGPT Speedrun WR nopeudella 109,2 (-3,5s) ja toinen uusi (?) attn-päivitys nimeltä Paired Head Attention. Kyselyt voivat keskittyä naapuripään avaimiin, jolloin jokainen Q voi hakea 2 arvoa per kohdepaikka yhden sijaan. 3 % vaikutus nollalla parametrilla!
51
Larry Dial
Larry Dial6.1. klo 03.38
Uusi NanoGPT Speedrun WR nopeudella 112,7 (-1,0s), jossa painot ovat bfloat16 ja lisäksi 16 bittiä optimoijassa ja interleaved-viestissä. Inspiraatiota @YouJiacheng ja @ChrisJMcCormick. Myös Adam-opt, joka astuu puolet muonista useammin, on lm_head beta1=0.5.
60