RepVGG: Making VGG-style ConvNets Great Again #27
Description
一言でいうと
構造的な再パラメータ化により，推論時に学習時と異なるアーキテクチャにすることで、推論速度を高速化する手法．
論文リンク
https://arxiv.org/pdf/2101.03697.pdf
著者/所属機関
Xiaohan Ding, Xiangyu Zhang, Ningning Ma, Jungong Han, Guiguang Ding, Jian Sun
(BNRist, School of Software, Tsinghua University, MEGVII Technology, Hong Kong University of Science and Technology,
Aberystwyth University)
投稿日付(yyyy/MM/dd)
2021/03/29
概要
学習時は多枝のトポロジーを持ち，推論時はVGライクなシンプルな構造となるRepVGGを提案．
推論時は，構造的な再パラメータ化により学習時のResisdual Blockなどのショートカットを削除し、シンプルなアーキテクチャに変換することで，精度劣化を防ぎながら推論速度を向上させた．
ImageNetで，ResNet-50よりも83％，ResNet-101よりも101％高速化．
新規性・差分
- 精度劣化を抑えながら高速化した，シンプルなアーキテクチャであるRepVGGを提案．
- 構造的な再パラメータ化により，推論時は，学習時の多枝トポロジーを変換しプレーンなアーキテクチャにする．
手法
構造的再パラメータ化
- ショートカット箇所のConv + BN層をConv層に変換．
- Conv層を全て足し合わせて一つのConv層にする．
結果
