Topik trending
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico-12,11%
USELESS
USELESS-4,8%
IKUN
IKUN-13,65%
gib
gib-2,53%
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk-1,43%
ALON
ALON+12,55%
LAUNCHCOIN
LAUNCHCOIN-8,54%
GOONC
GOONC+2,88%
KLED
KLED+30,21%
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP+0,07%
Boopa
Boopa-1,15%
PORK
PORK-4,43%
header
You Jiacheng
You Jiacheng
You Jiacheng13 Jan, 08.18
Saya suka desain gerbang Engram yang sadar konteks. Simetrinya indah. Ini adalah campuran penyematan di mana router juga menyematkan. MoE biasa adalah "campuran FFN di mana router juga FFN" tetapi KeyFFN hanya bias. k_i=KeyFFN_i(x) v_i=ValFFN_i(x) o=sum_i σ(q·k_i)v_i
28
You Jiacheng
You Jiacheng4 Jan, 17.44
😅 Siapa yang mengatakan bahwa "menggunakan K3 dalam Loss = menggunakan Path-wise Grad"??? cara yang benar untuk menggunakan k3 dalam kerugian adalah dengan menggunakan grad FULL. og GRPO menggunakan k3 tanpa koreksi IS (= grad jalur), yang salah. Tapi itu bukan salah K3!!
122
You Jiacheng
You Jiacheng2 Jan, 09.55
NGL, tidak menyangka itu. Namun jika dipikir-pikir, banyak perubahan terlihat dapat dipindahtangankan.
Larry Dial
Larry Dial2 Jan, 05.55
Dalam 6 bulan terakhir, NanoGPT Speedrun menjadi 3,28 kehilangan di FineWeb turun 33% menjadi 2 menit. Baru-baru ini sebagian dari perubahan ini disalin-tempel secara massal ke jalur kerugian 2,92 skala besar. Anehnya, yolo run yang tidak disetel memecahkan rekor kerugian 2,92 sebesar 25%.
148