Tópicos em alta
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
You Jiacheng
Adoro o design de portões consciente do contexto da Engram. Sua simetria é linda.
É uma mistura de embeddings onde roteadores também são embeddings.
O MoE comum é "uma mistura de FFNs onde roteadores também são FFNs", mas KeyFFNs são apenas para viés.
k_i=KeyFFN_i(x)
v_i=ValFFN_i(x)
o=sum_i σ(q·k_i)v_i
68
Sinceramente, não esperava por isso.
Mas, olhando para trás, muitas mudanças parecem transferíveis.
2 de jan., 05:55
Nos últimos 6 meses, a perda do Speedrun do NanoGPT para 3,28 no FineWeb caiu 33%, ficando em 2 minutos. Recentemente, um subconjunto dessas mudanças foi copiado em massa para a faixa de perdas em escala maior de 2,92. Surpreendentemente, a corrida yolo desafinada quebrou o recorde de 2,92 derrotas em 25%.
162
Melhores
Classificação
Favoritos