2022 Fiscal Year Research-status Report
Training of deep learning models by introducing prior knowledge
| Project/Area Number |
21K12049
|
|---|
| Research Institution | Hiroshima University |
|---|
Principal Investigator |
栗田 多喜夫 広島大学, 先進理工系科学研究科(工), 教授 (10356941)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
日高 章理 東京電機大学, 理工学部, 准教授 (70553519)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 事前知識 / 機械学習 / 深層学習 / 不変特徴抽出 |
|---|
| Outline of Annual Research Achievements |
訓練用のデータに基づいて学習したディープラーニングのモデルは，画像認識を始め多くの応用で高い性能を発揮し，現在の人工知能のブームを作り出している．本研究課題では，事前知識を積極的に学習に取り込む方法について研究する．具体的には，事前知識の取り込み方法の違いにより，（１）識別に無関係な変動に対して不変な特徴の抽出による学習の誘導，（２）事前知識を利用して訓練データを生成する手法の２つのサブ課題について研究する．
（１）識別に無関係な変動に対して不変な特徴の抽出による学習の誘導については，画像識別と画像の領域分割で新たな手法を開発し，国際会議で発表した．変動に頑健な画像識別の開発では，各サンプル画像に二つの異なる変動を加え，それらの画像をネットワークに入力し，得られた二つの特徴ベクトルがなるべく同じになるように誘導する正則化項（Barlow Twin Loss）を識別のための損失関数に加えた目的関数を最適化する学習法を提案した．また，U-Netを用いた領域分割においても，Self-Supervised Learningで利用されている方法を導入して，変動を加えた画像ペアの特徴ベクトルをなるべく近づけるように学習する領域分割手法を提案し，医療画像の領域分割課題において，ノイズなどの変動に頑健な画像の領域分割が可能であることを確認した．
（２）事前知識を利用して訓練データを生成する手法については，敵対的生成ネットワーク（Generative Adversarial Network (GAN)）を利用した画像の生成において，望みの変動を加えた画像を生成できるように特徴空間を制御する方法を提案し，年齢や髪型などの変動を加えた自然な顔画像の生成が可能であることを確認した．
さらに，研究代表者等がこれまでに行ってきた事前知識を取り込んだ学習法についても，論文発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
（１）識別に無関係な変動に対して不変な特徴の抽出による学習の誘導については，画像識別と領域分割にSelf-Supervised Learningで利用されている方法を導入する方法の有効性を確認した．（２）事前知識を利用して訓練データを生成する手法については，敵対的生成ネットワークを用いて，変動を制御する方法を提案した．二つのサブ課題ともに，順調に進捗している．
|
| Strategy for Future Research Activity |
サブ課題（１）識別に無関係な変動に対して不変な特徴の抽出による学習の誘導については，当初考えていたアイデアの有効性がほぼ確認できたので，次年度は，サブ課題（２）事前知識を利用して訓練データを生成する手法の開発に注力する．
|
| Causes of Carryover |
国際会議の多くがリモートでの開催となり，国際会議に出席するための旅費および参加費が削減された．次年度開催の国際会議や国内会議に出席するための旅費および参加費，GPUの更新などの実験環境の整備に利用する予定である．
|
