Math.py

Wir müssen wissen , wir werden wissen

0%

就在 Lookahead Optimizer 發表後的一個月,University of Illinois, Urbana-Champaign 的博士生 Liyuan Liu 發表了一個新的優化器 Rectified Adam (RAdam),有別於 Lookahead ,RAdam 在某種程度上直接對 Adam 進行改良,使其兼具 Adam 及 SGD 的優點,改善 Adam 落入 Local Minimum 導致效果不夠好以及 SGD 收斂速度慢的缺點。

閱讀全文 »