Error Feedback Fixes SignSGD and other Gradient Compression Schemes #12
Description
一言でいうと
signSGDがうまく収束しないケースを解決するerror feedback機構を提案．
論文リンク
http://proceedings.mlr.press/v97/karimireddy19a.html
著者/所属機関
EPFL
投稿日付(yyyy/MM/dd)
ICML2019
概要
signSGDのような勾配の符号に基づくSGDの亜種は，通信時のボトルネックを緩和することを目的として提案されてきた．
本論文では，signSGDがうまく収束しないシンプルなコーナーケースを示し，同時にsignSGDがうまく収束するようなケースであってもその汎化性能が一般のSGDよりも著しく劣ることを示す．
そうした欠点はsignSGDがバイアスを持つことに起因するが，そのようなバイアスを補正するerror feedback機構により上記の問題点を解決できることを示す．
新規性・差分
- signSGDが失敗するコーナーケースを導出
- signSGDのバイアスを補正するerror feedbackを提案
手法
signSGD with Error Feedback
- ステップごとに残差を更新し，圧縮時のエラーを補正しながら重みの更新を行う．
- 追加のパラメータなしで動作．
結果
