Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
You Jiacheng
om eerlijk te zijn, had dat niet verwacht.
maar achteraf gezien lijken veel veranderingen overdraagbaar.
2 jan, 05:55
In de afgelopen 6 maanden is de NanoGPT Speedrun naar 3.28 verlies op FineWeb met 33% gedaald naar 2 minuten. Onlangs zijn een subset van deze wijzigingen in bulk gekopieerd en geplakt naar het grotere 2.92 verliestraject. Verrassend genoeg heeft de niet-afgestemde yolo-run het 2.92 verliesrecord met 25% gebroken.
92
HC gebruikt kronecker gefactoriseerde neer- en op-projecties, maar het heeft een mengoperatie H^res nodig.
mHC vereist strategisch dat H^res dubbel stochastische matrices zijn, wat een sluiting is ten opzichte van matmul.
(orthogonaal werkt misschien ook)
LatentMoE gebruikt volledige matrices voor neer- en op-projecties.
1 jan, 15:08
Interessant. HyperConnection en LatentMoE doen eigenlijk vergelijkbare dingen.
screenshot genomen uit het nieuwe paper van deepseek (geüpload door Liang)
cc @teortaxesTex
101
Boven
Positie
Favorieten