2022 Fiscal Year Annual Research Report
深層学習がもたらすパラダイムシフトを加速するネットワーク設計理論の構築
| Project/Area Number |
19H01110
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
岡谷 貴之 東北大学, 情報科学研究科, 教授 (00312637)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
菅沼 雅徳 東北大学, 情報科学研究科, 助教 (00815813)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 深層学習 / コンピュータビジョン |
|---|
| Outline of Annual Research Achievements |
深層学習は，解きたい問題（タスク）ごとに，ネットワークの構造デザインを行う必要があるが，そのための系統的な方法論がないことが課題であった．本研究では，ネットワーク構造デザインと学習データ量の関係を睨みつつ，デザインの方法論の確立を目指し，研究を進めてきた．当該年度においては，当初計画した3つの項目に取り組み，その結果，いくつかの成果を得た．
まず一つ目は，入力の幾何学的変換に対する不変性に着目したネットワークのデザイン手法である．タスクに必要な変換を見極めた上で，それらへの不変性を構造のみで達成するネットワークを設計する方法で，屋内環境を自律的に探査するタスクに適用し，有効性を示した．研究テーマの1つである「ネットワークの構造デザインとデータ量の関係」に新たな知見をもたらすものでもある．成果は，国際会議CVPR2022にて公表した．
2つ目は，自己教師学習の理論的分析に関する成果である．自己教師学習手法には正例と負例を用いる対照学習と，負例を用いない非対照学習がある．後者の手法は，明示的な制約がなければ無意味な解に縮退し得るはすだが，BYOLやSimSiamなどの既存手法は縮退せず，有効な特徴空間を学習できることが謎となっていた．われわれは，既に理解が進んでいた「特徴量を無相関にする制約付きの手法（Barlow-TwinsやVICReg）」とこれらの既存手法の間に，これまで知られていなかった関係があることを見出し，それを通じてBYOL/SimSiamがなぜ良い特徴空間を学習できるかが説明できることを示した．本成果は，掲げた目標の1つ「データを用いた学習とネットワーク構造の相互関係の明確化」に一つの答えを与えている．以上の成果は，国際会議NeurIPS2022にて公表した．
|
| Research Progress Status |
令和4年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和4年度が最終年度であるため、記入しない。
|
