Argomenti di tendenza
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
You Jiacheng
Adoro il design di gating consapevole del contesto di Engram. La sua simmetria è bellissima.
È una miscela di embedding in cui i router sono anche embedding.
Il MoE regolare è "miscela di FFN in cui i router sono anche FFN" ma i KeyFFN sono solo bias.
k_i=KeyFFN_i(x)
v_i=ValFFN_i(x)
o=sum_i σ(q·k_i)v_i
6
onestamente, non me lo aspettavo.
ma a posteriori, molti cambiamenti sembrano trasferibili.
2 gen, 05:55
Negli ultimi 6 mesi, il NanoGPT Speedrun per una perdita di 3.28 su FineWeb è sceso del 33% a 2 minuti. Recentemente, un sottoinsieme di queste modifiche è stato copiato e incollato in blocco nella traccia di perdita più ampia di 2.92. Sorprendentemente, la corsa yolo non ottimizzata ha superato il record di perdita di 2.92 del 25%.
134
Principali
Ranking
Preferiti