2020 Fiscal Year Research-status Report
Teacher-Student Sequential Re-learning Model in Adaptive Structure Deep Learning
| Project/Area Number |
19K12142
|
|---|
| Research Institution | Prefectural University of Hiroshima |
|---|
Principal Investigator |
市村 匠 県立広島大学, 地域創生学部, 教授 (10295842)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 深層学習 / 構造適応型学習 / T/S型逐次的再学習モデル / KL情報量 / 顔感情モデル / 敵対的事例 / 制限付ボルツマンマシン / Deep Belief Network |
|---|
| Outline of Annual Research Achievements |
入力データに対して適応的に隠れニューロン数や層の数を自動で生成／消去する構造適応型深層学習法を開発した。この手法は，画像データ等のベンチマークテストに対し，学習・評価用セットで他の深層学習より高い分類能力を示した。しかしながら，入力パタンが同じで，出力パタンが異なるデータ等については，分類できないものもあり，①単にラベル付けが誤った事例，②与えられた入力属性のみでは判定不可能な事例，③敵対的事例等による。②については，複数の学習モデルをアンサンブル学習などの手法によって，事例の存在数に応じて出力パタンを判定する方法，③については，モデルを再学習し，ネットワークにおける信号の流れを調べ，誤りを出力する箇所を修復する方法を検討している。②や③に対し，我々は，ネットワーク全体における学習状態を評価し，元の親モデル(Teacher)において誤分類が大きいデータを学習する子モデル(Student)を構築する，Teacher-Student(T/S)モデルの概念に基づいたCo-learningモデルを開発している。２つのモデルに対するKL情報量を求め，その情報量を基準として，親モデル側で新しいニューロンを適切な場所に自動で生成するアルゴリズムのプロトタイプを開発し，顔感情データベースとして知られるAffectNetに適用した。このデータベースは，自然な感情表情，快／不快，好感度のデータベースとして公開され，8種類の感情が人によってラベル付けされている。この結果，誤り判定が多いカテゴリ“怒り”と“嫌悪”の感情に対して精度が向上したので，他の同様なカテゴリ（９個）にも適用した。親モデルへの反映方法として２種類の方法を提案した。AffectNetについては，どちらの方法も高精度な分類能力をもつモデルを構築できた。また，他に医療データ等に適用するとともに，③敵対的事例に対する有効性を検証する。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
新型コロナ感染症予防対策のため，年度当初，大学によって研究活動の禁止期間が設けられるとともに，研究計画の再スケジュールを行った。また，投稿した，もしくは予定していた国内学会発表や国際会議が延期となると同時に，オンラインになった。学会によっては動画を準備し，事前に登録するだけになって，発表によるフィードバックが得られなかった。さらに，シミュレーション実験を早めるために，新たな部品の導入を検討していたが， PC部品（GPUやメモリ）の在庫がなく，高騰してしまったことや，購入物品の学内締切日が通常より１ケ月早くなり，購入を見合わせたことによって，一部の実験を延期した。これにより，学会誌への投稿が遅れ，査読結果が現状では得られていない。これらの理由によって，「やや遅れている」とした。
|
| Strategy for Future Research Activity |
新型コロナ感染症対策によって，今後も研究活動について制限が課せられる可能性がある。現時点で，在宅勤務が求められているため，今後，コンピュータやデータベースシステムなどを自宅に移動することも考え，研究活動を続ける。
AffectNetデータベースを用いて，類似しているカテゴリに対する誤りラベル付けに対する深層学習方法の精度を向上させる方法を提案した。システムの分類精度の低下は，人間の主観によって判定されたラベルを学習システムの構築に用いたことが原因である。このような誤りを生じる可能性のあるカテゴリに対しても学習可能なモデルを構築した。一方，この類似性に対するモデルはKL情報量を基準とした閾値をもとに判定している。提案した学習方法の有効性を検証するため，他のビッグデータに対するモデルを構築し，評価する。特に，人間の主観の違いによって異なる結果が生じる可能性があるデータとして，医療データが考えられる。ANDI(the Alzheimer’s Disease Neuroimaging Initiative)から提供されているMCIに関するMRI画像や，githubで公開されているCOVID-19画像オープンデータ(covid-chestxray-dataset)等を用いて，あいまいな情報が多く含まれているデータセットに適用する。正解ラベル付けは，複数の医師等のカンファレンスで決定されていることもあるため，データを分析することで専門家による意思決定過程を想定しながら，モデル学習法の改良を考え，研究を実施する。
|
| Causes of Carryover |
新型感染症予防対策によって，参加する国際会議がオンラインになった。このため，国際会議参加にかかる旅費等の使用については，学会誌等への投稿を行うことを予定している。
また，購入予定であった機器（GPU）が欠品していたため購入できなかった。販売再開され次第，購入する予定である。
|
Research Products
(10 results)
