2022 Fiscal Year Annual Research Report
深層学習がもたらすパラダイムシフトを加速するネットワーク設計理論の構築
Project/Area Number |
19H01110
|
Research Institution | Tohoku University |
Principal Investigator |
岡谷 貴之 東北大学, 情報科学研究科, 教授 (00312637)
|
Co-Investigator(Kenkyū-buntansha) |
菅沼 雅徳 東北大学, 情報科学研究科, 助教 (00815813)
|
Project Period (FY) |
2019-04-01 – 2023-03-31
|
Keywords | 深層学習 / コンピュータビジョン |
Outline of Annual Research Achievements |
深層学習は,解きたい問題(タスク)ごとに,ネットワークの構造デザインを行う必要があるが,そのための系統的な方法論がないことが課題であった.本研究では,ネットワーク構造デザインと学習データ量の関係を睨みつつ,デザインの方法論の確立を目指し,研究を進めてきた.当該年度においては,当初計画した3つの項目に取り組み,その結果,いくつかの成果を得た. まず一つ目は,入力の幾何学的変換に対する不変性に着目したネットワークのデザイン手法である.タスクに必要な変換を見極めた上で,それらへの不変性を構造のみで達成するネットワークを設計する方法で,屋内環境を自律的に探査するタスクに適用し,有効性を示した.研究テーマの1つである「ネットワークの構造デザインとデータ量の関係」に新たな知見をもたらすものでもある.成果は,国際会議CVPR2022にて公表した. 2つ目は,自己教師学習の理論的分析に関する成果である.自己教師学習手法には正例と負例を用いる対照学習と,負例を用いない非対照学習がある.後者の手法は,明示的な制約がなければ無意味な解に縮退し得るはすだが,BYOLやSimSiamなどの既存手法は縮退せず,有効な特徴空間を学習できることが謎となっていた.われわれは,既に理解が進んでいた「特徴量を無相関にする制約付きの手法(Barlow-TwinsやVICReg)」とこれらの既存手法の間に,これまで知られていなかった関係があることを見出し,それを通じてBYOL/SimSiamがなぜ良い特徴空間を学習できるかが説明できることを示した.本成果は,掲げた目標の1つ「データを用いた学習とネットワーク構造の相互関係の明確化」に一つの答えを与えている.以上の成果は,国際会議NeurIPS2022にて公表した.
|
Research Progress Status |
令和4年度が最終年度であるため、記入しない。
|
Strategy for Future Research Activity |
令和4年度が最終年度であるため、記入しない。
|