Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico-11,89 %
USELESS
USELESS-15,26 %
IKUN
IKUN-11,19 %
gib
gib-3,26 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk-8,16 %
ALON
ALON-5,03 %
LAUNCHCOIN
LAUNCHCOIN-5,89 %
GOONC
GOONC+11,61 %
KLED
KLED+32,79 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP-0,12 %
Boopa
Boopa-0,12 %
PORK
PORK+2,25 %
header
You Jiacheng
You Jiacheng
You Jiacheng13. 1. 08:18
Miluji kontextově vnímavý design brán od Engramu. Jeho symetrie je nádherná. Je to směs embeddingů, kde jsou routery zároveň embeddingy. Běžné MoE je "směs FFN, kde jsou routery zároveň FFN", ale KeyFFN jsou pouze zaujaté. k_i=KeyFFN_i(x) v_i=ValFFN_i(x) o=sum_i σ(q·k_i)v_i
4
You Jiacheng
You Jiacheng4. 1. 17:44
😅 který řekl, že "použití k3 ve ztrátě = použití cest-po-gradu"??? Správný způsob, jak použít K3 při ztrátě, je použít FULL Grad. og GRPO použil k3 bez IS-korekce (= cestově grad), což je nesprávné. Ale není to chyba K3!!
107
You Jiacheng
You Jiacheng2. 1. 09:55
Upřímně, to jsem nečekal. Ale zpětně se zdá, že mnoho změn je přenosné.
Larry Dial
Larry Dial2. 1. 05:55
Za posledních 6 měsíců klesl NanoGPT Speedrun na 3,28 na FineWeb o 33 % na 2 minuty. Nedávno byla část těchto změn hromadně zkopírována do větší ztrátové stopy 2,92. Překvapivě neupravený yolo run překonal rekord ztrát 2,92 o 25 %.
132