Temas en tendencia
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
You Jiacheng
Me encanta el diseño de portillas contextual de Engram. Su simetría es hermosa.
Es una mezcla de embeddings donde los routers también son embeddings.
El MoE normal es "mezcla de FFNs donde los routers también son FFNs", pero los KeyFFNs solo son de polarización.
k_i=KeyFFN_i(x)
v_i=ValFFN_i(x)
o=sum_i σ(q·k_i)v_i
65
No voy a mentir, no me lo esperaba.
Pero en retrospectiva, muchos cambios parecen transferibles.
2 ene, 05:55
En los últimos 6 meses, la pérdida de NanoGPT Speedrun a 3,28 en FineWeb bajó un 33%, hasta 2 minutos. Recientemente, un subconjunto de estos cambios fue copiado y pegado en masa a la pista de pérdidas a mayor escala de 2,92. Sorprendentemente, la carrera de yolo desafinada superó el récord de 2,92 derrotas en un 25%.
160
Populares
Ranking
Favoritas