2021 Fiscal Year Research-status Report
Training of deep learning models by introducing prior knowledge
| Project/Area Number |
21K12049
|
|---|
| Research Institution | Hiroshima University |
|---|
Principal Investigator |
栗田 多喜夫 広島大学, 先進理工系科学研究科(工), 教授 (10356941)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
日高 章理 東京電機大学, 理工学部, 准教授 (70553519)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 事前知識 / 機械学習 / 深層学習 / 不変特徴抽出 |
|---|
| Outline of Annual Research Achievements |
訓練用のデータに基づいて学習したディープラーニングのモデルは，画像認識を始め多くの応用で高い性能を発揮し，現在の人工知能のブームを作り出している．本研究課題では，事前知識を積極的に学習に取り込む方法について研究する．具体的には，事前知識の取り込み方法の違いにより，（１）識別に無関係な変動に対して不変な特徴の抽出による学習の誘導，（２）事前知識を利用して訓練データを生成する手法の２つのサブ課題について研究する．
今年度は，これまで研究代表者等が行ってきた事前知識を学習の目的関数に正則化項を加えることで取り込む手法について論文発表した．具体的には，眼底画像からの血管領域の抽出において，血管領域は繋がっているという知識を積極的に取り込むために，オイラーの多面体定理を利用して検出された血管領域の連結成分の個数を推定し，それを最小化するような正則化を加えた学習法や隣接画素との差が推定画像と教師画像とで等しくなるような正則化を加えた学習法を提案した．また，識別に無関係な変動に対して不変な特徴が抽出できるようにするため，Gradient Reversal Layer (GRL) を導入して，タスクに無関係な情報を陽に抑制する方法，および，Siamese Networkを利用して，陽に特徴ベクトルの変動を抑制する方法を提案した．特に，GRLを利用する手法については，心電を用いた心臓疾患の診断に応用し，その結果を国際会議で発表した．その他，Self-Supervised Learningで利用されている手法と識別器を組み合わせて，変動の影響を受けにくい識別器が学習できることを確かめた．具体的には，各サンプルに異なる変動を加え，それらを入力したネットワークと特徴ベクトルがなるべく同じになるように学習する手法を識別器の学習と組み合わせた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
識別に無関係な変動に対して不変な特徴の抽出による学習の誘導については，GRLを利用する手法の有効性を心電からの心臓疾患の診断に応用し，有効性を確認した．また，Self-Supervised Learningで利用されている手法を用いて，タスクに無関係な変動に影響されにくい識別器の学習が可能であることを確認した．これは，当初の計画では予定されていなかったものである．
|
| Strategy for Future Research Activity |
今年度開発したSelf-Supervised Learningで利用されている手法を教師あり学習にも利用するというアイデアを，画像の領域分割にも拡張する．具体的には，画像のボケ等の変動に頑健な領域分割手法を開発する．また，事前知識を利用して訓練データを生成する手法についても検討する．
|
| Causes of Carryover |
COVID-19の影響で，国際会議の多くがリモートでの開催となり，国際会議に出席するための旅費および参加費が削減された．10Gbのネットワーク用のHUBやネットワークカード，新しいGPUの購入などの計算機実験の環境を整備するために利用する予定である．
|
