2023 Fiscal Year Annual Research Report
Teacher-Student Sequential Re-learning Model in Adaptive Structure Deep Learning
| Project/Area Number |
19K12142
|
|---|
| Research Institution | Prefectural University of Hiroshima |
|---|
Principal Investigator |
市村 匠 県立広島大学, 地域創生学部, 教授 (10295842)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 構造適応型深層学習 / 構造適応型RBM / 構造適応型DBN / Teacher-Studentモデル / RoadTracer / 避難経路探索 |
|---|
| Outline of Annual Research Achievements |
学習データに最適なRBMのニューロン数を自動で定める構造適応型RBM(Adaptive RBM(Restricted Boltzmann Machine))と，事前学習したAdaptive RBMを層とし，自動で階層構造を構築する構造適応型DBN(Adaptive DBN(Deep Belief Network))は，高い分類能力を示している。しかしながら，教師あり学習における訓練データには，入力信号が同じでラベル付けされた教師信号が異なるものが含まれている。これらは複数の人間によって付与されているが，一概にラベル付け自体が誤りであるとは言い切れない。このような事例を学習済モデルに与えた場合，誤判定が生じる原因となっている。
この課題に対し２つ以上の深層学習モデルを用いてアンサンブル学習を行う方法として，Teacher-Student(T/S)構造適応型深層学習モデルは提案された。本研究では，学習済モデルと新たに学習したモデルの精度等を調査するために，学習済みのネットワークをTeacherモデル，再学習のための新しいネットワークをStudentモデルとした。２つのモデルのKL情報量を測り，Studentモデルの分類能力とKL情報量の変化の関係を明確にし，Studentモデルで得られた新たな知識をTeacherモデルに挿入する手法を提案した。また結果として学習後のモデルの計算時間の短縮を実現した。
ベンチマークデータセットや顔感情データベースAffectNet，軽度認知症データベースADNIに適用し，その有効性を検証したところ，分類性能の向上を示した。さらに，応用事例として，西日本豪雨災害時の航空画像や衛星画像を用いて，土砂災害による被災した道路を回避しながら避難経路の探索をリアルタイムで発見する方法を提案し，その有効性が示された。
|
