Gradient Descent with Early Stopping is Provably Robust to Label Noise for Overparameterized Neural Networks

[nocotan]

一言でいうと

停止規則としてearly stoppingを採用したoverparameterized DNNがラベルノイズにロバストであることを示した．

論文リンク

AISTATS2020
http://proceedings.mlr.press/v108/li20j/li20j.pdf

著者/所属機関

Mingchen Li (University of California), Mahdi Soltanolkotabi (University of Southern California), Samet Oymak (University of California)

投稿日付(yyyy/MM/dd)

2019/03/27

概要

以下の図のように，overparametrized DNNは

1. 初期のイテレーションではラベルノイズを無視するように振る舞い，
2. 後半のイテレーションでは過学習し始める．

新規性・差分

手法

結果

コメント

近年のDeep Double Descent現象と矛盾する気もする．
https://arxiv.org/abs/1912.02292