Trend-Themen
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico-12,74 %
USELESS
USELESS-13,88 %
IKUN
IKUN-12,15 %
gib
gib-3,27 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk-6,69 %
ALON
ALON+7,64 %
LAUNCHCOIN
LAUNCHCOIN+15,71 %
GOONC
GOONC+7,04 %
KLED
KLED+37,88 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP-0,12 %
Boopa
Boopa-3,97 %
PORK
PORK+2,25 %
header
You Jiacheng
You Jiacheng
You Jiacheng13. Jan., 08:18
Ich liebe das kontextabhängige Gating-Design von Engram. Seine Symmetrie ist schön. Es ist eine Mischung aus Embeddings, bei der Router ebenfalls Embeddings sind. Reguläres MoE ist "Mischung von FFNs, bei der Router ebenfalls FFNs sind", aber KeyFFNs haben nur Bias. k_i=KeyFFN_i(x) v_i=ValFFN_i(x) o=sum_i σ(q·k_i)v_i
9
You Jiacheng
You Jiacheng4. Jan., 17:44
😅 Wer hat gesagt, dass "k3 im Verlust = pfadweise Grad"??? Der richtige Weg, k3 im Verlust zu verwenden, ist, den vollen Grad zu verwenden. OG GRPO hat k3 ohne IS-Korrektur (= pfadweise Grad) verwendet, was falsch ist. Aber es ist nicht k3s Schuld!!!
112
You Jiacheng
You Jiacheng2. Jan., 09:55
ehrlich gesagt, habe ich das nicht erwartet. aber im Nachhinein erscheinen viele Änderungen übertragbar.
Larry Dial
Larry Dial2. Jan., 05:55
In den letzten 6 Monaten ist der NanoGPT Speedrun mit einem Verlust von 3,28 auf FineWeb um 33 % auf 2 Minuten gesunken. Kürzlich wurden einige dieser Änderungen in großen Mengen auf die größere 2,92 Verluststrecke kopiert. Überraschenderweise hat der ungetunte Yolo-Lauf den 2,92 Verlustrekord um 25 % übertroffen.
137