2018 Fiscal Year Annual Research Report
位相表現による注意機構を備えた畳み込みニューラルネットワークの構築
| Project/Area Number |
17J08559
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
長野 祥大 東京大学, 新領域創成科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2017-04-26 – 2020-03-31
|
| Keywords | ニューラルネットワーク / 深層生成モデル / Variational Autoencoder / 推論 / ダイナミクス |
|---|
| Outline of Annual Research Achievements |
本研究は脳の情報処理の中でも特に視覚野の動作原理に根ざした計算機上での効率的な情報処理を目指すものである．前年度からの継続研究対象として，本年度はVariational Autoencoder (VAE)が示す推論の集団的なダイナミクスを数値に解析した．具体的には，手書き数字の画像データのように学習データにクラスター構造が内在するとき，推論の時間発展に伴って集団的なダイナミクスが低次元の非線形な部分空間に引き込まれていることを明らかにした．
また，データセットにクラスター構造にとどまらない潜在的な階層構造が陽に仮定できる場合に特化した生成モデルの開発も行った．近年，自然言語処理の分野において木構造のような階層性のあるデータの双曲空間への埋め込みが重点的に研究されている．双曲空間は負の曲率を持つ曲がった空間である．これまで決定論的な状況でのみ利用されてきた双曲空間への埋め込みについて，勾配ベースの学習に利用しやすい双曲空間上の確率分布を提案することで，その確率変数を潜在変数とするVAEへ拡張を行った．
さらに高次元空間での時間ダイナミクスの解析手法として近年Dynamic Mode Decomposition (DMD)という手法が注目を集めている．推論のダイナミクスのさらなる解析を視野に入れて，DMDを用いてダイナミクスのデータから抽出した基底の候補から重要なものを選択する枠組みの開発を行った．
これまでの結果をまとめて，2件の国内学会で発表を行った．また1本の査読有り英文国際学会誌へ採択され，現在1本の査読有り英文学会誌への投稿を準備中である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
申請時の年次計画では，視覚的注意に代表されるような生物で実現されている柔軟な情報処理をモデル化し，畳み込みニューラルネットワーク(CNN)に組み込むことが本年度の目標であった．そこで，生物の柔軟な情報処理を計算機で実現するために生物の脳と深層ニューラルネットワークにおける情報処理の機序の相同性を比較する必要があると考えた．研究の結果，本年度が対象としたVAEはその情報処理の機序に工学的に意義のあると考えられる生物との相同性が見られたため，CNNの開発よりもVAEに焦点を当てて研究を進めた．
VAEの推論のダイナミクスに関して，前年度は個々の推論の平均的な挙動を個別に解析したが，本年度はその集団的なダイナミクスについても解析を行った．また，今後集団的なダイナミクスをより詳細に解析するための解析手法についても合わせて研究を行った．さらにVAEの推論のダイナミクスにとどまらず，典型的なデータセットの構造に即したVAEのモデル自体の拡張も行った．これらの観点から，本研究は概ね順調に進展していると言える．
|
| Strategy for Future Research Activity |
当初の年次計画では，採用第3年目は生物の情報処理機構を模したCNNモデルの実応用を想定していた．しかし，前述の通り研究を進める中で深層生成モデルにおいて興味深い現象を発見したため，今後も引き続き深層生成モデルに関しての研究を進める．近年になって生物の情報処理に着想を得た深層生成モデルの研究が多数行われていることからも，本研究の方向性が重要であると考える．そこで，採用第3年目はこれまで行ってきたVAEの推論のダイナミクスに関して引き続き解析を行うだけでなく，深層生成モデルについてより包括的に研究を行う予定である．
|
