2022 Fiscal Year Research-status Report
Teacher-Student Sequential Re-learning Model in Adaptive Structure Deep Learning
| Project/Area Number |
19K12142
|
|---|
| Research Institution | Prefectural University of Hiroshima |
|---|
Principal Investigator |
市村 匠 県立広島大学, 地域創生学部, 教授 (10295842)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 構造適応型深層学習 / RBM / DBN / Teacher Student型モデル / AffectNet / ADNI |
|---|
| Outline of Annual Research Achievements |
我々が提案した学習データに最適なRBMのニューロン数を自動で定める構造適応型RBM(Adaptive RBM(Restricted Boltzmann Machine))と，事前学習したAdaptive RBMを層とし，自動で階層構造を構築する構造適応型DBN(Adaptive DBN(Deep Belief Network))によって，高い分類能力を示すことが分かっている。しかしながら，教師あり学習における訓練データには，入力信号が同じでラベル付けされた教師信号が異なるものが含まれていることがある。これらは人間の異なる感性によって与えられたラベルであって，一概にラベル付け自体が誤りであるとは言い切れない。しかしながら，学習済モデルに与えた場合，誤判定が生じる原因となっている。
このような場合，２つ以上のモデルを用いてアンサンブル学習を行う等の方法が用いられ，Teacher-Student(T/S)モデルはその一つのモデルとされている。本研究では，学習済モデルと新モデルの形成状態を調査するために，学習済みのネットワークをTeacherモデル，再学習のための新しいネットワークをStudentモデルとし，新たなStudentモデルの学習を行う。２つのモデルのKL情報量を測り，Studentモデルの分類能力とKL情報量の変化の関係を明確にし，Studentモデルで得られた新たな知識をTeacherモデルに挿入する手法を提案し，学習後のモデルの計算時間の短縮を実現した。
CIFAR-100などのベンチマークデータセットや顔感情データベースであるAffectNet，軽度認知症MRIデータベースADNIに適用し，その有効性を検証したところ，分類性能の向上を示した。さらに，災害時の航空画像や衛星画像などの他のデータにも適用したところ，その有効性が示された結果が得られた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
モデルのアルゴリズムや簡単な計算実験を行ってきたが，大容量のデータベースを取り扱う場合，GPGPU計算機が必要であった．昨年度，高速なGPGPU計算機を購入することができ，様々なデータに対し適用したところ，概ね期待通りの結果が得られている．成果をまとめ，ジャーナルや国際会議に投稿しており，一部採択に至ったものものある．現在は航空画像や衛星画像の結果をまとめ，論文を投稿しているところである．
|
| Strategy for Future Research Activity |
航空写真や衛星画像から道路網を検出する方法としてRoadTracerが知られているが，この手法の深層学習法に，Adaptive DBNを適用したところ，従来手法より認識性能の向上と計算速度の短縮が見られた。しかしながら，一部のデータに対して認識できない箇所を発見し，改良のため，T/Sモデルを適用したところ，さらに精度が向上した。 この手法を平成30年7月豪雨（西日本豪雨災害）の衛星画像に適用し，寸断された道路網を抽出し，新たな移動経路を探索する方法を開発した。これらの精度を評価するための追試実験を行うとともに，ベンチマークデータセットであるCIFAR-100等へ適用した結果及び上記の手法を国際ジャーナルに投稿した．
また，他大学医学部との共同研究において，MRI画像等の医療画像を用いて３次元画像の研究も行い，国際会議に投稿した．
さらに，矩形検出問題のみならず，セグメンテーション問題への適用を検討しているところである．
|
| Causes of Carryover |
国際会議が国内学会に参加する予定であったが，すべてオンラインとの併用となったため，出張せず，オンラインで参加したことで，旅費等の執行に至らなかった．
また，今年度は，国内で対面で実施する国際会議などに参加する予定であり，成果を発表する機会としたい．さらに，国際ジャーナルに投稿中であり，採択に至った場合，掲載料とする予定である．
|
