Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
You Jiacheng
Adoro o design de gating consciente do contexto do Engram. A sua simetria é linda.
É uma mistura de embeddings onde os routers também são embeddings.
O MoE regular é "mistura de FFNs onde os routers também são FFNs", mas os KeyFFNs são apenas bias.
k_i=KeyFFN_i(x)
v_i=ValFFN_i(x)
o=soma_i σ(q·k_i)v_i
70
não vou mentir, não esperava isso.
mas, em retrospectiva, muitas mudanças parecem transferíveis.
2/01, 05:55
Nos últimos 6 meses, a Speedrun do NanoGPT para uma perda de 3.28 no FineWeb caiu 33% para 2 minutos. Recentemente, um subconjunto dessas mudanças foi copiado e colado em massa para a pista de perda maior de 2.92. Surpreendentemente, a execução yolo não ajustada quebrou o recorde de perda de 2.92 em 25%.
164
Top
Classificação
Favoritos