2019 Fiscal Year Research-status Report
Teacher-Student Sequential Re-learning Model in Adaptive Structure Deep Learning
| Project/Area Number |
19K12142
|
|---|
| Research Institution | Prefectural University of Hiroshima |
|---|
Principal Investigator |
市村 匠 県立広島大学, 経営情報学部, 教授 (10295842)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 深層学習 / 構造適応型学習 / T/S型逐次的再学習モデル / KL情報量 / 顔感情モデル / 敵対的事例 / 制限付ボルツマンマシン / Deep Belief Network |
|---|
| Outline of Annual Research Achievements |
入力データに対して適応的に隠れニューロン数や層の数を自動で生成／消去する構造適応型深層学習法を開発した。開発した手法は，画像や時系列データなどのベンチマークテストでは学習用ではほぼ100%，テスト用では他の深層学習手法より高い分類能力を示した。しかしながら，データによっては，分類できないパタンもあった。これらは，入力パタンが同じで，出力パタンが異なるデータであり，①単にラベル付けが誤った事例，②与えられた入力属性のみでは判定不可能な事例，③敵対的事例等による。②については，複数の学習モデルをアンサンブル学習などの手法によって，事例の存在数に応じて出力パタンを判定する方法がある。③については，モデルを再学習し，ネットワークのどのパスを信号が流れるかを調査することによって，事例自体に含まれているデータの歪みに対する学習状態を調べる。ネットワーク全体における学習状態を評価し，元の親モデル(Teacher)において誤分類が大きいデータを学習する子モデル(Student)を構築する，Teacher-Student(T/S)モデルの概念に基づいたCo-learningモデルを開発している。２つのモデルにおけるKL情報量を求め，その情報量を基準として，親モデル側で新しいニューロンを適切な場所に自動で生成するアルゴリズムのプロトタイプを開発した。本研究では，顔感情データベースとして知られるAffectNetを適用した。自然な感情表情，快／不快，好感度のデータベースとして公開され，8種類の感情が人によってラベル付けされている。この結果，判定誤りが多い“怒り”と“嫌悪”の感情に対して，適用したところ，精度が向上したので，他の感情にも適用し有効性を検証しているところである。また，他に医療画像データ，時系列データなどを用いて，③敵対的事例に対する有効性を検証し，精度を向上させる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度で購入したGPUワークステーションコンピュータを構築し，コンピュータ環境を整えた。また，データベースも海外の研究者と契約書を締結し，データベースを構築した。成果の途中を国内学会発表，国際会議発表に投稿し，採択され，予定より進んでいたが，新型コロナ感染症予防対策のため，３月以降の学会等はすべて対面での会議を中止した。発表によるフィードバックが得られていなく，評価が受けられていない。このため，「（２）おおむね順調に進展している」を選択した。
|
| Strategy for Future Research Activity |
新型コロナ感染症対策によって，大学にも自粛要請があり，研究活動について制限がある。現時点で，在宅勤務が求められているため，今後，コンピュータやデータベースシステムなどを自宅に移動することも考え，研究活動を続ける。
AffectNetは，横軸に快－不快という感情価(valence),縦軸に覚醒(arousal)をとったときに，感情が円環状に並ぶというモデルで成り立っている。このモデルによると，“怒り”と“嫌悪”の感情は類似していると考えられているため，本研究でも適用した。これ以外にも類似した感情が複数あるので，本アルゴリズムを適用して，分類精度の向上を研究する。また，現在，MCIに関するMRI画像をANDI(the Alzheimer’s Disease Neuroimaging Initiative)から提供されている。時系列動画データ(YouTube)なども取得している。これらのビッグデータへ適用し，有効性を検証するとともに，成果の概要で述べた敵対的事例に対する再学習方法を検討する。
|
| Causes of Carryover |
国内学会及び国際学会での旅費，参加を予定していたが，３月以降すべて旅費等がキャンセルとなったため，使用しなかった。
学会等での口頭発表のスケジュールが未定であるが，口頭発表ができなかったとしても，学術誌へ投稿を行うことを検討している。
また，学生の登校が禁止され，謝金等の使用が難しい場合には，作業の一部を外部に委託することを検討する。
|
