2021 Fiscal Year Research-status Report
Model Switching Criteria in Dynamic Model Learning of Neural Networks
| Project/Area Number |
19K12151
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
亀山 啓輔 筑波大学, システム情報系, 教授 (40242309)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | ニューラルネットワーク / 動的モデル学習 / 転移学習 / 蒸留 |
|---|
| Outline of Annual Research Achievements |
2021年度は，前年度に提案したニューラルネットワークの動的モデル学習方式である蒸留と中間層応答の転移を併用する学習方式のさらなる改良を進めた．また，生体認証への応用では，虹彩と眼周囲画像を用いたマルチモーダル認証方式の高度化を進めた．
畳み込みニューラルネットワーク（CNN）を対象とした動的モデル学習においては，パラメータ数が少なく，高い写像能力，汎化能力を備えたネットワークの獲得のために多段階にモデル切り替えを行う学習方式について，蒸留と中間層応答の転移の方法についてさらなる検討を進め，効率的に目的とするモデル圧縮が行われる条件を明らかにした．さらに，大規模なネットワークにおける同方式の有効性を評価するために，画像認識問題に対して50層からなるResNet50として知られるモデルを最終的に98層からなるがパラメータ数は1/8である，より深く軽量なResNetモデルに圧縮することを試み，モデル圧縮を達成しつつも認識精度をさらに改善できることを示した．この研究成果は，国内学会（FIT2021．FIT奨励賞受賞）および国際ワークショップ（IEEE PerconAI）で報告した．
また，生体認証へのニューラルネットワークを用いたパターン認識の応用としての，虹彩パターンと眼周囲画像を併用するマルチモーダル認証方式においては，それぞれのモーダリティを担当するCNNの認識結果をスイッチングする第3のネットワーク（マルチモーダルセレクタ）の学習方法について検討を進め，いずれかのモーダリティが著しく劣化した状態を教師データとして学習した場合に，より適切なモーダリティの選択が行われ，システム全体としての認証精度が向上することを明らかにした．この研究成果は，国内学会（FIT2021．FIT奨励賞受賞）および国際学会（ICONIP 2021）で報告した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
前年度の成果を発展させる形で着実に成果を挙げることができ，国内外の学会においてその成果を発表することができた．当初予定では最終年度であったが，動的モデル学習における学習中のモデル切り替えタイミングの選択に関する検討をより深めるために，研究期間を延長することとした．
|
| Strategy for Future Research Activity |
動的モデル学習における，学習中のモデル切り替えの選択基準についてさらに検討を進めるとともに，動的なモデル変更をもともなう学習の概念である「カリキュラム学習」との関連性を明確にしたいと考えている．その上で，学習開始時にあらかじめモデル変更のスケジュールを定めない「動的カリキュラム学習」方式として学習の高度化，効率化を目指したい．
|
| Causes of Carryover |
初年度の進捗がコロナウィルス感染症の拡大により若干遅延した影響により，研究機関を1年間延長し，残された課題を解決するとともに，プロジェクトを総括する報告を行う．残経費はデータ整理補助のための謝金，ソフトウェア等の消耗品，学会報告のための参加費および旅費に充てる．
|
