深度學習理論/科學的目標是指導實踐。但大多數實際問題距離理論的合理回答還有超過一篇論文的距離。那麼，在沒有理想的獎勵信號「這個理論是否給我們一個 SOTA 算法？」的情況下，我們該如何進步呢？…

即使在全批次梯度下，深度學習優化器也違背了經典優化理論，因為它們在*穩定性邊緣*運作。 與@alex_damian_一起，我們介紹了「中心流」：一種分析這些動態的理論工具，能對真實神經網絡進行準確的定量預測。