HC 使用克罗内克因子分解的下&上投影,但它需要一个混合操作 H^res。 mHC 战略上要求 H^res 是双随机矩阵,这是关于矩阵乘法的闭合。 (正交可能也有效) LatentMoE 使用完整矩阵进行下&上投影。