Rubriques tendance
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
You Jiacheng
J'adore le design de gating contextuel d'Engram. Sa symétrie est magnifique.
C'est un mélange d'embeddings où les routeurs sont également des embeddings.
Le MoE régulier est "un mélange de FFNs où les routeurs sont également des FFNs" mais les KeyFFNs n'ont que des biais.
k_i=KeyFFN_i(x)
v_i=ValFFN_i(x)
o=sum_i σ(q·k_i)v_i
48
franchement, je ne m'y attendais pas.
mais avec le recul, de nombreux changements semblent transférables.
2 janv., 05:55
Au cours des 6 derniers mois, la vitesse de NanoGPT pour atteindre une perte de 3,28 sur FineWeb a chuté de 33 % à 2 minutes. Récemment, un sous-ensemble de ces changements a été copié-collé en masse sur la piste de perte à plus grande échelle de 2,92. Étonnamment, la course yolo non réglée a battu le record de perte de 2,92 de 25 %.
153
Meilleurs
Classement
Favoris