Towards Compact CNNs via Collaborative Compression #31
Description
一言でいうと
チャネルプルーニングとテンソル分解を組み合わせてCNNモデルを圧縮するCollaborative Compression（CC）方式を提案．
論文リンク
https://arxiv.org/pdf/2105.11228.pdf
著者/所属機関
Yuchao Li, Shaohui Lin, Jianzhuang Liu, Qixiang Ye, Mengdi Wang, Fei Chao, Fan Yang, Jincheng Ma, Qi Tian, Rongrong Ji
(Xiamen University, Alibaba Group, East China Normal University
Huawei Noah’s Ark Lab, University of Chinese Academy of Sciences, Huawei TechnologiesCo.,Ltd, Xiamen University, Peng Cheng Laboratory)
投稿日付(yyyy/MM/dd)
2021/05/24
概要
モデル圧縮手法であるチャネルプルーニングとテンソル分解は，従来，単独で展開されていたため，高い圧縮率を追求すると精度が著しく劣化するという課題があった．
本論文では，モデルのスパース性と低ランク性を同時に学習することで，チャネルプルーニングとテンソル分解を組み合わせてCNNモデルを圧縮する手法を提案．
ResNet-50では，48.4%のパラメータを削除することで52.9%のFLOPs削減を達成し，ImageNet 2012ではトップ1からの精度劣化を0.56%を抑えた．
新規性・差分
- グローバル圧縮率最適化とマルチステップヒューリスティック圧縮によるチャネルプルーニングとテンソル分解の組み合わせにより精度劣化を防ぎながらCNNを圧縮する手法を提案．
- 各層の圧縮率を自動で決定．
手法
2段階で圧縮．
- グローバル圧縮率最適化：圧縮感度に基づいた最適化問題を解き，各層の圧縮率を決定．
- マルチステップヒューリスティック圧縮：重要度の低い圧縮ユニットを段階的に取り除くことで，各層を個別に圧縮．
グローバル圧縮率最適化
マルチステップヒューリスティック圧縮
圧縮ユニットの重要度
結果
