Engramのコンテキスト認識型ゲート設計が大好きです。その対称性は美しい。 これは埋め込みの混合であり、ルーターも埋め込みです。 通常のMoEは「ルーターもFFNであるFFNの混合」ですが、KeyFFNはバイアスのみです。 k_i=KeyFFN_i(x) v_i=ValFFN_i(x) o=sum_i σ(q·k_i)v_i

😅 「損失にK3を使う=経路面のグラデーションを使う」と言った人はいますか??? 損失でK3を使う正しい方法は、フルグラデーションを使うことです。 元のGRPOではIS補正なしのk3(=経路方向の勾配)を使いましたが、これは誤りです。でもK3のせいじゃない!!

正直、それは予想していませんでした。 しかし振り返れば、多くの変更点は移し替え可能に見えます。