Trendande ämnen
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico−0,9 %
USELESS
USELESS−8,55 %
IKUN
IKUN−15,03 %
gib
gib−2,69 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk+1,54 %
ALON
ALON+5,76 %
LAUNCHCOIN
LAUNCHCOIN−14,3 %
GOONC
GOONC+3,76 %
KLED
KLED+6,8 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP−0,62 %
Boopa
Boopa−7,92 %
PORK
PORK−3,82 %
header
You Jiacheng
You Jiacheng
You Jiacheng13 jan. 08:18
Jag älskar Engrams kontextmedvetna grinddesign. Dess symmetri är vacker. Det är en blandning av embeddings där routers också är embeddings. Vanlig MoE är "en blandning av FFN:er där routrar också är FFN:er" men KeyFFN:er är endast bias. k_i=KeyFFN_i(x) v_i=ValFFN_i(x) o=sum_i σ(q·k_i)v_i
61
You Jiacheng
You Jiacheng4 jan. 17:44
😅 Vem sa att "använda K3 i förlust = använda path-wise grad"??? det korrekta sättet att använda k3 i förlust är att använda FULL grad. och GRPO använde k3 utan IS-korrigering (= vägvis-grad), vilket är fel. Men det är inte K3:s fel!!
132
You Jiacheng
You Jiacheng2 jan. 09:55
Ärligt talat, det hade jag inte väntat mig. Men i efterhand verkar många förändringar överförbara.
Larry Dial
Larry Dial2 jan. 05:55
Under de senaste 6 månaderna sjönk NanoGPT:s speedrun till 3,28 på FineWeb med 33 % till 2 minuter. Nyligen kopierades en del av dessa förändringar i bulk till den större förlustspåret på 2,92. Överraskande nog slog den otrimmade yolo-runen förlustrekordet på 2,92 med 25%.
157