2021 Fiscal Year Research-status Report
Teacher-Student Sequential Re-learning Model in Adaptive Structure Deep Learning
| Project/Area Number |
19K12142
|
|---|
| Research Institution | Prefectural University of Hiroshima |
|---|
Principal Investigator |
市村 匠 県立広島大学, 地域創生学部, 教授 (10295842)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 構造適応型深層学習 / RBM / DBN / Teacher Student型モデル / AffectNet / ADNI |
|---|
| Outline of Annual Research Achievements |
我々が提案した学習データに最適なRBMのニューロン数を自動で定める構造適応型RBM(Adaptive RBM(Restricted Boltzmann Machine))と，事前学習したAdaptive RBMを層とし，自動で階層構造を構築する構造適応型DBN(Adaptive DBN(Deep Belief Network))によって，高い分類能力を示すことが分かっている。しかしながら，教師あり学習における訓練データには，入力信号が同じでラベル付けされた教師信号が異なるものが含まれていることがある。これらは人間の異なる感性によって与えられたラベルであって，一概にラベル付け自体が誤りであるとは言い切れない。しかしながら，学習済モデルに与えた場合，誤判定が生じる原因となっている。
このような場合，２つ以上のモデルを用いてアンサンブル学習を行う等の方法が用いられ，Teacher-Student(T/S)モデルはその一つのモデルとされている。本研究では，学習済モデルと新モデルの形成状態を調査するために，学習済みのネットワークをTeacherモデル，再学習のための新しいネットワークをStudentモデルとし，新たなStudentモデルの学習を行う。２つのモデルのKL情報量を測り，Studentモデルの分類能力とKL情報量の変化の関係を明確にし，Studentモデルで得られた新たな知識をTeacherモデルに挿入する手法を提案し，学習後のモデルの計算時間の短縮を実現した。
CIFAR-100などのベンチマークデータセットや顔感情データベースであるAffectNet，軽度認知症MRIデータベースADNIに適用し，その有効性を検証したところ，分類性能の向上を示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
モデルのアルゴリズムや簡単な計算実験を行ってきたが，大容量のデータベースを取り扱う場合，GPGPU計算機が必要であるが，コロナ禍の影響で大学構内への入構制限があることや本学のネットワーク制限（外部からアクセス不可）があり，実験と評価を繰り返し行うことが困難であった。また，GPUの購入が計画通りに行えなかったため，予定していたデータベースの実験が終了していない。また，成果をまとめ，適切な国際会議や学会誌等への投稿が終了していない。
これらの理由によって，一部は行っているものの，研究成果の報告や発展的な応用の可能性を示すところまで至っておらず，「やや遅れている」とした。
|
| Strategy for Future Research Activity |
航空写真や衛星画像から道路網を検出する方法としてRoadTracerが知られているが，この手法の深層学習法に，Adaptive DBNを適用したところ，従来手法より認識性能の向上と計算速度の短縮が見られた。しかしながら，一部のデータに対して認識できない箇所を発見し，改良のため，T/Sモデルを適用したところ，さらに精度が向上した。
この手法を平成30年7月豪雨（西日本豪雨災害）の衛星画像に適用し，寸断された道路網を抽出し，新たな移動経路を探索する方法を開発した。これらの精度を評価するための追試実験を行うとともに，ベンチマークデータセットであるCIFAR-100等へ適用した結果及び上記の手法を国際学会誌等へ投稿する準備を行っている。
また，他大学医学部との共同研究において，MRI画像等の医療画像を用いた研究も行っているが，これらのデータにも本手法を適用する予定である。
|
| Causes of Carryover |
研究内容によって複数のモデルを構築するため，１つのモデルに対し１つのGPU計算機を構築する必要がある。GPU計算機の構築については，既存の計算機に新しいGPU機器を増設し，また大容量データの転送に必要なネットワーク高速化を図るため，必要な機器を購入する。
また，短時間で手法の評価を行うため，医療データや衛星画像を用いた計算実験を行い，実験作業補助のため学生アルバイトを雇用する必要がある。
これらの結果をまとめた論文を投稿するため，論文構成，剽窃防止ソフト（iThenticate）使用等の費用を支出する。
|
Research Products
(9 results)
