Trend Olan Konular
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico-%11,56
USELESS
USELESS-%5,97
IKUN
IKUN-%12,86
gib
gib-%2,34
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk-%1,19
ALON
ALON+%5,92
LAUNCHCOIN
LAUNCHCOIN-%19,96
GOONC
GOONC+%1
KLED
KLED+%0,96
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP-%0,36
Boopa
Boopa-%2,89
PORK
PORK-%4,43
header
You Jiacheng
You Jiacheng
You Jiacheng13 Oca 08:18
Engram'ın bağlam duyarlı kapı tasarımını çok seviyorum. Simetrisi çok güzel. Bu, yönlendiricilerin de gömülü olduğu bir karışım. Normal MoE, "yönlendiricilerin de FFN olduğu FFN'lerin karışımı" ama KeyFFN'ler sadece önyargılıdır. k_i=KeyFFN_i(x) v_i=ValFFN_i(x) o=sum_i σ(q·k_i)v_i
53
You Jiacheng
You Jiacheng4 Oca 17:44
😅 "kayıpta k3 kullanmak = yol derecesi kullanmak" demiş??? K3'ü kayıpta kullanmanın doğru yolu FULL grad'ı kullanmaktır. og GRPO, k3'ü IS-düzeltmesi olmadan (= yol bazında grad) kullandı, bu yanlış. Ama bu K3'ün suçu değil!!
128
You Jiacheng
You Jiacheng2 Oca 09:55
Açıkla, bunu beklemiyordum. Ancak geriye dönüp bakıldığında, birçok değişiklik taşınabilir görünüyor.
Larry Dial
Larry Dial2 Oca 05:55
Son 6 ayda FineWeb'te NanoGPT hız kaybı 3.28'e kadar %33 azalarak 2 dakikaya düştü. Son zamanlarda bu değişikliklerin bir alt kümesi daha büyük ölçekli 2.92 kayıp parçasına toplu kopyalanıp yapıştırıldı. Şaşırtıcı bir şekilde, ayarlanmamış yolo koşusu 2.92'lik kayıp rekorunu %25 kırdı.
154