2022 Fiscal Year Annual Research Report
Model Switching Criteria in Dynamic Model Learning of Neural Networks
| Project/Area Number |
19K12151
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
亀山 啓輔 筑波大学, システム情報系, 教授 (40242309)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | ニューラルネットワーク / 動的モデル学習 / 転移学習 / 蒸留 / カリキュラム学習 |
|---|
| Outline of Annual Research Achievements |
今年度はモデル切り替えを伴うモデル圧縮によりニューラルネットワーク（生徒ネット）を得る手法についてさらなる検討を行い，学習の局面に適した教師セットの部分集合を動的に変えつつ用いるカリキュラム学習を参考にした転移学習法について検討を進めた．新たに提案した，学習データの中から教師ネットが正しく分類できるものを優先的に用いて生徒ネットを学習させるMerit-based Distillation（選択的蒸留）は，画像分類問題において既に提案しているモデル圧縮手法をさらに改善する結果を得ることができ，報告論文は国際学会（IEEE CSPA 2023）においてBest Paper Awardを受賞するに至った．この成果と並行して，（１）カリキュラム学習を用いたCNNによる画像認識において，あらかじめ準備した分類器アンサンブルの一致度に基づいて学習データの学習難易度を推定し，難易度の低いものから開始し，次第に難易度の高いものを含めて学習するカリキュラムを用いることによる画像分類精度の改善，（２）感染症の感染数推移モデルのSIRモデルに政策の変化を反映させ感染数推定精度を高めるためのLSTMを用いた非線形時系列推定モデルの提案とその有効性の実証，（３）ハイパースペクトル画像リモートセンシングによる土地利用推定における，相互情報量を用いた分類に有効な波長帯の選択手法の提案とその有効性の検証，などの関連成果を得た．
本プロジェクトでは，転移に基づくモデル圧縮を中心として，多様な知識転移手法を提案しその有効性を示すことで，当初の目的であった，いつ，どのモデルと写像に切り替えて学習していくことが学習効率や汎化能力の向上につながるのか，に関する有用な知見を得ることができた．今後，さらに複数のモデルを切り替えつつ最終的な要件を満たす動的モデル学習法として，改良と検証を進めていくことが課題となる．
|
