深層学習は,解きたい問題(タスク)ごとに,ネットワークの構造デザインを行う必要があるが,そのための系統的な方法論がないことが課題であった.本研究では,ネットワーク構造デザインと学習データ量の関係を睨みつつ,デザインの方法論の確立を目指し,研究を進めてきた.当該年度においては,当初計画した3つの項目に取り組み,その結果,いくつかの成果を得た. まず一つ目は,入力の幾何学的変換に対する不変性に着目したネットワークのデザイン手法である.タスクに必要な変換を見極めた上で,それらへの不変性を構造のみで達成するネットワークを設計する方法で,屋内環境を自律的に探査するタスクに適用し,有効性を示した.研究テーマの1つである「ネットワークの構造デザインとデータ量の関係」に新たな知見をもたらすものでもある.成果は,国際会議CVPR2022にて公表した. 2つ目は,自己教師学習の理論的分析に関する成果である.自己教師学習手法には正例と負例を用いる対照学習と,負例を用いない非対照学習がある.後者の手法は,明示的な制約がなければ無意味な解に縮退し得るはすだが,BYOLやSimSiamなどの既存手法は縮退せず,有効な特徴空間を学習できることが謎となっていた.われわれは,既に理解が進んでいた「特徴量を無相関にする制約付きの手法(Barlow-TwinsやVICReg)」とこれらの既存手法の間に,これまで知られていなかった関係があることを見出し,それを通じてBYOL/SimSiamがなぜ良い特徴空間を学習できるかが説明できることを示した.本成果は,掲げた目標の1つ「データを用いた学習とネットワーク構造の相互関係の明確化」に一つの答えを与えている.以上の成果は,国際会議NeurIPS2022にて公表した.
|