2019 Fiscal Year Annual Research Report
位相表現による注意機構を備えた畳み込みニューラルネットワークの構築
| Project/Area Number |
17J08559
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
長野 祥大 東京大学, 新領域創成科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2017-04-26 – 2020-03-31
|
| Keywords | ニューラルネットワーク / 機械学習 / 深層学習 / 深層生成モデル / Variational Autoencoder |
|---|
| Outline of Annual Research Achievements |
本研究は生物における視覚的注意に代表されるような，自身の内部状態や事前知識に依存した効率的な情報処理の計算機上での実現を目指すものである．生物の柔軟な情報処理を計算機で実現するためには，生物が日々接している外界の構造に着目することが必要不可欠であることから，本年度はデータセットに対する事前知識として現実世界に典型的に存在する構造と学習モデルの関係に焦点を当てて研究を行った．これは，前年度までの研究が機械学習の手法として工学的に利用価値が高いため，情報科学的意義が十分にあると判断したためである．
外界の構造として局所的な構造について着目し，局所構造のもとで有用な生成モデルの学習法について研究を行った．これまでは前述のクラスター構造や前年度に取り組んだ階層構造など，予め陽に構造を与えることができる場合を研究の対象としてきた．本年度は，高次元な観測も少数の操作変数を使って表されるという仮定のもとで，必要な帰納バイアスについて研究した．それぞれの操作変数ごとに典型的なスケールが存在するという仮定のもと，大域的な操作変数に局所的な操作変数が依存するような局所構造を仮定した．このような局所構造を持つデータセットに対して，それぞれの局所構造をタスクと捉え，未知タスクへの高速な適用を目指したメタ学習を行うことを提案した．近傍関係を補助的なラベルとして与えることで，各局所構造間で転用可能な表現を抽出した．特定データの局所近傍ごとにタスク固有のパラメーターを持つ生成モデルとして，メタ学習アルゴリズムのMAMLの階層ベイズ的解釈を用いたLocal VAEを提案した．
加えて，ここで用いたMAMLについて，その学習ダイナミクスの理論的解析も行った．
これまでの結果をまとめて4件の国際ワークショップと2件の国内会議で発表した．また現在，査読あり英文誌及び査読あり英文国際会議誌に原稿を投稿中である．
|
| Research Progress Status |
令和元年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和元年度が最終年度であるため、記入しない。
|
