热门话题
#
Bonk 生态迷因币展现强韧势头
Hosico
Hosico+4.14%
USELESS
USELESS-8.06%
IKUN
IKUN-9.91%
gib
gib-1.94%
#
有消息称 Pump.fun 计划 40 亿估值发币，引发市场猜测
Bonk
Bonk+3.11%
ALON
ALON+3.36%
LAUNCHCOIN
LAUNCHCOIN+1.8%
GOONC
GOONC-11.09%
KLED
KLED-4.16%
#
Solana 新代币发射平台 Boop.Fun 风头正劲
BOOP
BOOP-0.02%
Boopa
Boopa-5.49%
PORK
PORK-3.82%
header
You Jiacheng
You Jiacheng
You Jiacheng10 小时前
哇，DeepGEMM 为 HyperConnection 添加了代码。
29
You Jiacheng
You Jiacheng1月13日 08:18
我喜欢Engram的上下文感知门控设计。它的对称性很美。 它是一个嵌入的混合体，其中路由器也是嵌入。 常规的MoE是“混合FFNs，其中路由器也是FFNs”，但KeyFFNs仅为偏置。 k_i=KeyFFN_i(x) v_i=ValFFN_i(x) o=∑_i σ(q·k_i)v_i
82
You Jiacheng
You Jiacheng1月4日 17:44
😅 谁说过 "在损失中使用 k3 = 使用路径梯度"??? 使用 k3 在损失中的正确方法是使用完整的梯度。 而 GRPO 在没有 IS 校正的情况下使用 k3 (= 路径梯度)，这是错误的。但这不是 k3 的错!!!
147