Observação interessante do apêndice do artigo DeepSeek V3: eles tiveram dificuldades com a quantização para ativações. «Esses [outliers correlacionados a tokens] não podem ser geridos de forma eficaz por uma abordagem de quantização em bloco». A estratégia UE8M0 deles pode ajudar aqui de alguma forma?
2,75K