Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico−12,11 %
USELESS
USELESS−5,91 %
IKUN
IKUN−13,73 %
gib
gib−2,53 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk−1,89 %
ALON
ALON+13,03 %
LAUNCHCOIN
LAUNCHCOIN−10,51 %
GOONC
GOONC+1 %
KLED
KLED+32,11 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP+0,07 %
Boopa
Boopa−2,89 %
PORK
PORK−4,43 %
header
You Jiacheng
You Jiacheng
You Jiacheng13. jan., 08:18
Jeg elsker Engrams kontekstbevisste portdesign. Symmetrien er vakker. Det er en blanding av embeddings hvor rutere også er embeddings. Vanlig MoE er «en blanding av FFN-er hvor rutere også er FFN-er», men KeyFFN-er er kun bias. k_i=KeyFFN_i(x) v_i=ValFFN_i(x) o=sum_i σ(q·k_i)v_i
29
You Jiacheng
You Jiacheng4. jan., 17:44
😅 Hvem sa at "bruk av k3 i tap = bruk av sti-vis grad"??? den riktige måten å bruke k3 i tap på er å bruke FULL grad. og GRPO brukte k3 uten IS-korreksjon (= stivis grad), noe som er feil. Men det er ikke K3 sin feil!!
123
You Jiacheng
You Jiacheng2. jan., 09:55
Ærlig talt, det hadde jeg ikke forventet. Men i ettertid ser mange endringer overførbare ut.
Larry Dial
Larry Dial2. jan., 05:55
I løpet av de siste 6 månedene har NanoGPT Speedrun til 3,28 tap på FineWeb falt med 33 % til 2 minutter. Nylig ble en delmengde av disse endringene bulk-kopiert og limt inn til den større 2,92-tapsbanen. Overraskende nok slo den uinnstilte yolo-runen 2,92 tapsrekorden med 25 %.
149