أحب تصميم Engram للبوابات الواعي للسياق. تماثلها جميل. إنه مزيج من التضمينات بينما الراوترات هي أيضا تضمينات. MoE العادية هي "مزيج من شبكات FFN حيث أن أجهزة التوجيه هي أيضا FFNs" أما KeyFFN فهي فقط متحيزة. k_i=KeyFFN_i(x) v_i=ValFFN_i(x) o=sum_i σ(q·k_i)v_i