Teacher-Student Sequential Re-learning Model in Adaptive Structure Deep Learning
| Project/Area Number |
19K12142
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Prefectural University of Hiroshima |
|---|
Principal Investigator |
市村 匠 県立広島大学, 地域創生学部, 教授 (10295842)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 構造適応型深層学習 / RBM / DBN / Teacher Student型モデル / AffectNet / ADNI / 深層学習 / 構造適応型学習 / T/S型逐次的再学習モデル / KL情報量 / 顔感情モデル / 敵対的事例 / 制限付ボルツマンマシン / Deep Belief Network / teacher-studentモデル |
|---|
| Outline of Research at the Start |
入力データに対して適応的に隠れニューロン数や層の数を自動で生成／消去する構造適応型深層学習法を開発した。開発した手法は，画像や時系列データなどのベンチマークテストでは学習用ではほぼ100%，テスト用では他の深層学習手法より高い分類能力を示した。学習後に未知データが出現した場合，再学習することで，自己組織化的に学習モデルを自ら構造やパラメタ修正するアルゴリズムを研究する。学習済みモデルをTeacherモデル，再学習のためのモデルをStudentモデルとし，KL情報量によって，分類，時系列等の様々なビッグデータセットに対応できる深層学習モデルを構築する。
|
| Outline of Annual Research Achievements |
我々が提案した学習データに最適なRBMのニューロン数を自動で定める構造適応型RBM(Adaptive RBM(Restricted Boltzmann Machine))と，事前学習したAdaptive RBMを層とし，自動で階層構造を構築する構造適応型DBN(Adaptive DBN(Deep Belief Network))によって，高い分類能力を示すことが分かっている。しかしながら，教師あり学習における訓練データには，入力信号が同じでラベル付けされた教師信号が異なるものが含まれていることがある。これらは人間の異なる感性によって与えられたラベルであって，一概にラベル付け自体が誤りであるとは言い切れない。しかしながら，学習済モデルに与えた場合，誤判定が生じる原因となっている。
このような場合，２つ以上のモデルを用いてアンサンブル学習を行う等の方法が用いられ，Teacher-Student(T/S)モデルはその一つのモデルとされている。本研究では，学習済モデルと新モデルの形成状態を調査するために，学習済みのネットワークをTeacherモデル，再学習のための新しいネットワークをStudentモデルとし，新たなStudentモデルの学習を行う。２つのモデルのKL情報量を測り，Studentモデルの分類能力とKL情報量の変化の関係を明確にし，Studentモデルで得られた新たな知識をTeacherモデルに挿入する手法を提案し，学習後のモデルの計算時間の短縮を実現した。
CIFAR-100などのベンチマークデータセットや顔感情データベースであるAffectNet，軽度認知症MRIデータベースADNIに適用し，その有効性を検証したところ，分類性能の向上を示した。さらに，災害時の航空画像や衛星画像などの他のデータにも適用したところ，その有効性が示された結果が得られた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
モデルのアルゴリズムや簡単な計算実験を行ってきたが，大容量のデータベースを取り扱う場合，GPGPU計算機が必要であった．昨年度，高速なGPGPU計算機を購入することができ，様々なデータに対し適用したところ，概ね期待通りの結果が得られている．成果をまとめ，ジャーナルや国際会議に投稿しており，一部採択に至ったものものある．現在は航空画像や衛星画像の結果をまとめ，論文を投稿しているところである．
|
| Strategy for Future Research Activity |
航空写真や衛星画像から道路網を検出する方法としてRoadTracerが知られているが，この手法の深層学習法に，Adaptive DBNを適用したところ，従来手法より認識性能の向上と計算速度の短縮が見られた。しかしながら，一部のデータに対して認識できない箇所を発見し，改良のため，T/Sモデルを適用したところ，さらに精度が向上した。 この手法を平成30年7月豪雨（西日本豪雨災害）の衛星画像に適用し，寸断された道路網を抽出し，新たな移動経路を探索する方法を開発した。これらの精度を評価するための追試実験を行うとともに，ベンチマークデータセットであるCIFAR-100等へ適用した結果及び上記の手法を国際ジャーナルに投稿した．
また，他大学医学部との共同研究において，MRI画像等の医療画像を用いて３次元画像の研究も行い，国際会議に投稿した．
さらに，矩形検出問題のみならず，セグメンテーション問題への適用を検討しているところである．
|
Report
(4 results)
Research Products
(35 results)
