Adabelief Optimizer: Adapting Stepsizes by the Belief in Observed Gradients

[nocotan]

一言でいうと

汎化性能の向上，収束レートの改善，安定性の向上を実現したAdamの亜種

論文リンク

著者/所属機関

Juntang Zhuang, Tommy Tang, Yifan Ding, Sekhar Tatikonda, Nicha Dvornek, Xenophon Papademetris, James S. Duncan
( Yale University, University of Illinois at Urbana-Champaign, University of Central Florida)

投稿日付(yyyy/MM/dd)

2020/12/20

概要

https://arxiv.org/pdf/2010.07468.pdf

新規性・差分

勾配の予測値と実際の勾配との差でステップサイズを決定

手法

結果

コメント