| 研究課題/領域番号 |
19K12020
|
|---|
| 研究機関 | 和歌山大学 |
|---|
研究代表者 |
和田 俊和 和歌山大学, システム工学部, 教授 (00231035)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | DNN compression / Neuro Coding / Neuro Unification / REAP / Biorthogonal basis / Gram Schmidt process |
|---|
| 研究実績の概要 |
本研究では，独自に考案したNeuro Coding/Unificationと呼ばれる手法に基づいて，学習済みDNNのモデルを圧縮することを提案しており，全結合層，畳み込み層のいずれでも動作する圧縮法を実現しようとしている．
上記手法に関しては，すでに全結合層だけでなく，畳み込み層への拡張を行い，実装と評価を終えている．これらの結果は，国際会議発表，学術論文の採録，特許申請という形で対外的な発表を済ませている．国際会議ICIARではbest paperを受賞し，特許申請では学術振興会のPCT出願のサポートを受けることができた．
Neuro Unificationでは，振る舞いの類似したニューロンのペアを見つけて，一方でもう一方を代替させるという圧縮方法であったが，あるニューロンを削除し，残ったニューロンの重み全てを更新し，次層の活性度の誤差を最小化する「再構成」という方法もある．この再構成のためには，最小二乗法を用いる必要があるが，高能率な圧縮が行える可能性がある．従来法では，次層への影響が最も小さいニューロンを削除してから再構成を行うというものであったが，再構成後の誤差の最小性は保証できない．このため，再構成後の誤差が最小になるニューロンを削除する新手法（REAP:REconstruction Aware Pruning）を考案した．この際に，最小二乗法を何度も解くことなく，双直交基底を用いてワンショットで解く手法と，グラムシュミットの直交化法をGPU上に並列実装して解く手法の２つを提案している．これに関しても，全結合層と畳み込み層への拡張を行い，実装と評価を終えている．これらは国内・国際会議での発表，学術論文への投稿，特許出願等の形で対外発表を行っている．
また，これらの技術を用いて，画像からの対象検出を行う組み込み系システムの共同開発を行っている．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
当初予定していた Neuro Coding/ Unificationを全結合層から畳み込み層に拡張するというテーマに関しては完了し，国際会議でもbest paperを受賞するなど高い評価を得ることができ，学術論文も採録された．これが，当初予定していた内容であるが，これだけに留まらず，新たな手法として，圧倒的な圧縮を可能とするREAP: REconstruction Aware Pruningを提案し，層単位の圧縮法の中では，理論上も実践上も最も性能の良い手法を開発することができた．実装上も，全結合層と畳み込み層の両方で実装できている．しかも企業との研究でREAPの有効性を確認することもできた．国際会議での発表と学術論文の投稿も終えている．
|
| 今後の研究の推進方策 |
REAPは，全結合層や畳み込み層のうちの「どの層」を圧縮するかを指定して圧縮する手法である．すなわち，「どの層を」「どの程度」「どういう順番で」圧縮するのかを決めなければREAPを適用することができない．現時点では，予め決めた順番と割合で各層を圧縮していくという手法を採用している．この部分を自動化するために，ネットワーク全体で，どの層をどの順序で消していくのが最適であるのかを求める手法を構築していく．理論上は，REAPを全層に適用して，最も最終誤差が小さくなる層を順に圧縮していけば良いが，これでは計算時間がかかりすぎる．これを簡素化した手法を開発し，各層にREAPを適用したのと同様の結果が最終層に現れる手法を構築する．これによって，最終層に与える影響が最も小さい層を同定し，そこにREAPを適用することを行う．また，RESNETのように分岐構造を持つDNNモデルに対してREAPを適用する手法の開発を行う．さらに，Neuro Unificationを，複数のDNNモデルを並列実行する場合に適用する手法についても検討する．
|
