Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Miluji kontextově vnímavý design brán od Engramu. Jeho symetrie je nádherná.
Je to směs embeddingů, kde jsou routery zároveň embeddingy.
Běžné MoE je "směs FFN, kde jsou routery zároveň FFN", ale KeyFFN jsou pouze zaujaté.
k_i=KeyFFN_i(x)
v_i=ValFFN_i(x)
o=sum_i σ(q·k_i)v_i
Top
Hodnocení
Oblíbené