Zero-shot Adversarial Quantization #34
Description
一言でいうと
オリジナルの学習データへのアクセスを必要としないゼロショット逆量子化を提案．
論文リンク
著者/所属機関
Yuang Liu , Wei Zhang, Jun Wang
(East China Normal University)
投稿日付(yyyy/MM/dd)
2021/03/30
概要
量子化による精度劣化を防ぐために完全な学習データでモデルを最適化する手法は，データの機密性やセキュリティのハードルがある場合は適用できない．
これに対し，Batch-Normalization Statistics(BNS)を利用したデータ生成によるFine-Tuning手法が提案されているが，完全にはで学習データの特性を回復できず，また，生成プロセスに時間がかかるという課題がある．
本論文では，学習データを一切使わずに，出力結果の不一致だけでなく，中間層のチャネル間の不一致により，量子化モデルと高精度モデルとのギャップを測定して，情報量の多い多様なデータを敵対的学習方法を用いて生成する．
実験で，データフリーなケースにおいて，分類，セグメンテーション，物体検知タスクで最も良い精度を示した．
新規性・差分
- データフリーなモデル量子化に敵対的学習を適用
- 出力結果の不一致だけでなく，中間層のチャネル間の不一致により，量子化モデルと高精度モデルとのギャップを測定
手法
Discrepancy Calculator
Knowledge Transfer from P to Q
Activation Regularization
結果
