2020 Fiscal Year Research-status Report
Model Switching Criteria in Dynamic Model Learning of Neural Networks
| Project/Area Number |
19K12151
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
亀山 啓輔 筑波大学, システム情報系, 教授 (40242309)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | ニューラルネットワーク / 動的モデル学習 / 転移学習 / 蒸留 |
|---|
| Outline of Annual Research Achievements |
2年目は，動的モデル学習の一手法である蒸留（Distillation）による畳み込みニューラルネットワーク（CNN）のモデル圧縮に関する検討を進めるとともに，CNNを領域分類器として用いた生体認証への応用について研究を進めた．
CNNのモデル圧縮においては，これまでの蒸留法において圧縮効率が高くなかったネットワーク規模が大きく異なる場合の効率的な圧縮を目標とした．多段階での蒸留を用いることで規模が大きく異なるモデル間の圧縮を図るとともに，圧縮モデルの学習に際して出力層のみならず中間層の応答も模倣するように行うことで，従来法に比べて効率的に圧縮が行われることを示した．ベンチマークとして用いられる画像分類問題では，圧縮後のCNNにおいてテストデータに対する分類性能を同等に保ちつつ，パラメータ数を元のCNNの1/7に削減できることを示した．
生体認証への応用においては，虹彩パターンおよび眼の周囲の画像をともに用いて行うマルチモーダル認証の認識精度の改善を行った．認識時の観測画質が必ずしも高くない場合でも高い認識精度を維持することを目標とし，虹彩と眼周囲の認識を受け持つ領域CNNをそれぞれ準備した上で，各領域分類器のSoftmax出力パターンを入力とし，最終的な認識結果として採用すべき分類器を選択する第3のネットワークを導入して用いることを提案した．その結果，いずれかのモーダリティの信頼性が障害物による遮蔽などで著しく劣化している場合でも適切な領域分類器の結果を選択することができ，全体として高い分類精度が維持されることを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度はプロジェクトのスタートに時間を要したものの，今年度は着実に成果を挙げることができた．年度内の研究成果の報告までは至らなかったものの，動的モデル学習の一つである蒸留に関する新たな知見を得ることができ，充実した一年となった．
|
| Strategy for Future Research Activity |
当初計画で課題とした事柄のうち着手できなかったものもあるため，今後は軌道修正を行いつつ進めることを心掛ける．次年度は最終年度となるが，年度早々に実験用の計算機を導入し，本年度行った提案の有効性のさらなる実験的検証を進める．
|
| Causes of Carryover |
実験用コンピュータの導入を当該年度に導入することを予定していたが，最新型のGPGPU装置を搭載した機器の品薄のため，旧機種を導入することも検討したが，当該年度は現有設備の範囲で実験を進め，機器の入手が可能となる次年度早期に導入することとした．
|
Research Products
(1 results)
