Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico-12,24%
USELESS
USELESS-10,79%
IKUN
IKUN-11,07%
gib
gib-4,24%
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk-4,98%
ALON
ALON+18,47%
LAUNCHCOIN
LAUNCHCOIN+2,54%
GOONC
GOONC+11,21%
KLED
KLED+43,32%
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP+0,07%
Boopa
Boopa-3,97%
PORK
PORK+2,25%
header
You Jiacheng
You Jiacheng
You Jiacheng13 sty, 08:18
Uwielbiam kontekstowo-świadome projektowanie bramek Engram. Jego symetria jest piękna. To mieszanka osadzeń, gdzie routery są również osadzeniami. Regularne MoE to "mieszanka FFN, gdzie routery są również FFN", ale KeyFFN to tylko bias. k_i=KeyFFN_i(x) v_i=ValFFN_i(x) o=sum_i σ(q·k_i)v_i
13
You Jiacheng
You Jiacheng4 sty, 17:44
😅 Kto powiedział, że "używanie k3 w stracie = używanie gradientu ścieżkowego"??? Poprawny sposób użycia k3 w stracie to użycie pełnego gradientu. GRPO użyło k3 bez korekcji IS (= gradient ścieżkowy), co jest błędne. Ale to nie wina k3!!!
116
You Jiacheng
You Jiacheng2 sty, 09:55
szczerze mówiąc, nie spodziewałem się tego. ale z perspektywy czasu wiele zmian wygląda na przenośne.
Larry Dial
Larry Dial2 sty, 05:55
W ciągu ostatnich 6 miesięcy NanoGPT Speedrun do 3.28 straty na FineWeb spadł o 33% do 2 minut. Niedawno część tych zmian została masowo skopiowana i wklejona do większej skali toru z stratą 2.92. Zaskakująco, nieprzetworzony bieg yolo pobił rekord straty 2.92 o 25%.
141