2017 Fiscal Year Annual Research Report
位相表現による注意機構を備えた畳み込みニューラルネットワークの構築
| Project/Area Number |
17J08559
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
長野 祥大 東京大学, 新領域創成科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2017-04-26 – 2020-03-31
|
| Keywords | ニューラルネットワーク / 深層生成モデル / Variational autoencoder / 推論 / ダイナミクス |
|---|
| Outline of Annual Research Achievements |
本研究は生物の脳，特に視覚情報を処理する視覚野の動作原理に根ざした計算機上での効率的な情報処理を目指すものである．特に，生物における視覚的注意に代表されるような，自身の内部状態や事前知識に依存した情報処理に着目する．本年度は計算機上での視覚情報処理と言える画像データに対する深層生成モデルを対象として，その情報処理のダイナミクスを研究した．
本年度は深層生成モデルの中で代表的な1つであるVariational Autoencoder (VAE)におけるデータの推論のダイナミクスを手書き文字数字のデータセットを用いて調べた．VAEはデータの空間から潜在変数の空間に写像するエンコーダーとその逆写像のデコーダーの双方向結合を持つ自己符号化器型の深層生成モデルである．このVAEに対してノイズを含む画像を初期入力として与え，エンコードとデコードを繰り返した際の推論の時間ダイナミクスを解析した．数値実験の結果，入力画像としてノイズを付加した訓練データを与えた際に，潜在空間での活動パターンがデータに内在するクラスターの中心，概念，に急速に接近したあと低速に離脱する現象を発見した．この現象は，推論初期では訓練データの中心，つまり典型的だが抽象的な画像を推論し，推論後期にはより具体的な画像を推論していることを意味し，神経科学の知見との相同性が確認された．
また，今後深層ニューラルネットワークのモデルを含めた高次元の活動データを解析するため，ニューロンの応答特性である受容野を効率的に推定する研究も行った．受容野はより入力に近い層からの入力の和，つまり少数の基底で表されるという仮定を置くことで，ノイズの多いデータから受容野を推定する枠組みを構築した．
これまでの結果をまとめて国内学会4件における発表を行った．また現在1件の査読有り英文学会誌へ投稿中である．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究の目的は，生物の脳，特に視覚情報を処理する視覚野の動作原理に根ざした計算機上での効率的な情報処理の実現であった．当初の計画では，視覚的注意に代表されるような生物で実現されている柔軟な情報処理をモデル化し，畳み込みニューラルネットワークに組み込むことが本年度の目標であった．そこで生物の柔軟な情報処理を計算機，特に近年発展の著しい深層ニューラルネットワークで実現するためには，生物の脳と深層ニューラルネットワークにおける情報処理の機序の相同性を比較する必要があると考え，本年度はこれを研究し，その情報処理の機序の生物との相同性や工学的意義について明らかにした．研究の結果，VAEでは学習データにクラスター構造が内在するとき，潜在空間での活動パターンが訓練データに内在するクラスターの中心，概念，に急速に接近したあと低速に離脱する現象を発見した．この結果からVAEにおける推論時の時間経過にデータの階層性が反映されていることを示唆し，神経科学で知られていた視覚野の情報処理機構との関連が見られた．当初は注意に代表される情報処理のメカニズムを作り込んでモデルに導入することを計画していたが，学習されたニューラルネットワークが自然に柔軟な情報処理を実現していることを明らかにした．普遍的な自己符号化器型の構造で柔軟な情報処理が実現されていることを明らかにしたという点において当初の計画以上に進展しているといえる．
|
| Strategy for Future Research Activity |
柔軟な情報処理の解明と実現に向けて，VAEの数値的解析を進める．29年度は最も単純な系として手書き文字数字のデータセットを全結合のニューラルネットワークで学習した．30年度は単純なクラスター構造にとどまらない現実的なデータセットや，大規模な自然画像データで高い性能を示すことで知られる畳み込みニューラルネットワークの評価を検討する．
なお，当初の研究計画では特定の柔軟な情報処理を実現するための構造を畳み込みニューラルネットワーク上に作り込んだ際の性能評価を予定していた．しかし，29年度の研究の結果，特定の作り込みを行わないより普遍的で意義のある現象を発見したため，今後は特に必要とならない限り，本現象に関する研究に注力する．
|
