RAdam optimizer 於 Dogs vs. Cats 貓狗辨識上之實作
就在 Lookahead Optimizer 發表後的一個月,University of Illinois, Urbana-Champaign 的博士生 Liyuan Liu 發表了一個新的優化器 Rectified Adam (RAdam),有別於 Lookahead ,RAdam 在某種程度上直接對 Adam 進行改良,使其兼具 Adam 及 SGD 的優點,改善 Adam 落入 Local Minimum 導致效果不夠好以及 SGD 收斂速度慢的缺點。