Model Switching Criteria in Dynamic Model Learning of Neural Networks

2019 Fiscal Year Research-status Report

• Project/Area Number: 19K12151
• Research Institution: University of Tsukuba
• Principal Investigator: 亀山 啓輔 筑波大学, システム情報系, 教授 (40242309)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: ニューラルネットワーク / 動的モデル学習 / 転移学習 / 蒸留

Outline of Annual Research Achievements

初年度は計画に従って，ニューラルネットワークの動的モデル学習における，(1) 学習中のモニタリングによるモデル切り替えるべき時機を決めるための特徴量の検討および，(2) 切り替えにおける写像の継承に関する基準（写像間距離）の検討を進めた．
(1)の特徴量は学習を効率的に行う上でモデルの切り替えを行うべき時機を適切に検出するために用いられる．従って，学習の進捗の指標となる学習セットに対する誤差とその時間変化，ネットワークの汎化性能の目安となる検証セットに対する誤差とその時間変化，そして特徴抽出器として機能する各層ごとの素子群の活用の度合いを表す層内素子間の応答の独立性等を候補とした．
また，（2）の写像間距離は，切り替わる2つのネットワークモデルがどの程度類似した写像を実現しているかを測り，モデルの切り替えの際にどの程度写像が忠実に継承されるかを表す指標となる．従来より用いてきた学習セットに対する各層の応答の差に基づくユークリッド距離に基づく写像間距離に加えて，近年転移学習を行う際のネットワークパラメータの初期値選択法として当グループが提案した確率密度継承法で用いた両ネットワークパラメータの分布の類似性を含めて評価を行った．
切り替える際の新たなモデルにおけるパラメータ値の決定法としては，仮に素子の刈り込みや蒸留（distillation）などの方法を候補とした．報告時点では，いくつかの小～中規模の問題に対して上記の検出特徴量と距離基準の組み合わせの評価を進めている．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

初年度に計画していた課題に関する実験的評価を終えることができなかったため．

Strategy for Future Research Activity

今後，ネットワークの動的モデル学習における検出特徴量，距離基準の組み合わせに関する検討に区切りをつけ，2年目に計画している検出特徴量を用いた切り替え時機の決定法と，切り替える際の新たなモデルにおけるパラメータ値の決定法の検討に進む予定である．

Causes of Carryover

初年度に計画していた計算機実験は計画の若干の遅れにより小規模なもののみとなったため，予定していた実験用コンピュータの購入を見送り，2年目以降に導入することにした．また，年度末に予定していた国内研究会への出張が新型コロナウィルス感染症のために中止となり，旅費の執行が行われなかったため，旅費についても執行分がなかった．2年目以降，社会状況が改善した後に，成果発表と情報収集のために学会参加も行う予定である．