2018 Fiscal Year Research-status Report
Transportation analysis of deep neural networks
| Project/Area Number |
18K18113
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
園田 翔 国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (00801218)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 深層ニューラルネット / リッジレット変換 / 大域最適 / 確率的数値解析 / カーネル求積 / 粒子フィルタ / 最適輸送 / 脳波 |
|---|
| Outline of Annual Research Achievements |
本研究課題では，深層ニューラルネットの輸送解釈と積分表現理論の観点からポスト深層学習に向けた技術開発を図る。特に，ブラックボックスとも呼ばれる深層ニューラルネットの情報処理メカニズムを明らかにする，「ニューラルネットのホワイトボックス化」を念頭に置いて研究を遂行している。
(1) 本研究課題の中心的なアイデアでもある，ニューラルネット（オートエンコーダー）を輸送写像として解析する研究成果がJMLRから出版された。2017年頃から微分方程式論的な解析手法は急速に普及しつつあり，今後の競争激化が予想される。輸送理論に加えて制御理論についても知見を深めた。
(2) 浅いニューラルネットの学習後のパラメータ分布がリッジレット変換を用いて記述できることを明らかにし，ICMLのワークショップで発表した。標準的な学習によって得られたニューラルネットと積分表現の関係はよく分かっていなかったので，ホワイトボックス化の重要なステップである。理研AIP数理科学チームとの共同研究である。
(3) 最近開発されたカーネル求積を用いて積分表現から離散ニューラルネットを合成する方法を開発し，国内の研究会で発表した。現在，論文執筆中である。本研究遂行を通じて，標本化・求積・最適化が従来考えていたよりも密接に関係していることを理解した。確率的数値解析は様々な面で連続モデルとの相性がよく，引き続きこの観点での研究開発を進める。特に欧州で進んでいるため，ドイツと英国の研究所を訪問して知見を深めた。
(4) 粒子フィルタを用いて脳波から脳内の活性部位を推定する研究成果が出版された。粒子フィルタは（ニューラルネットと同じく）ノンパラメトリック・モデルと呼ばれる表現力の高いモデルである。一連の研究成果では，粒子フィルタのモデル選択規準を複数提案し，人工データおよび実データに対して動作することを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度は，課題遂行のための準備（知識や技術の習得，周辺コミュニティとの人脈形成）に多くのリソースを割いた。諸分野の専門家と議論を重ねた結果，当初計画で想定していた問題のいくつかは実は難しい問題であることが分かったが，より現実的なゴールが設定され，プロジェクト１年目としては大筋順調に進展している。引き続き，ホワイトボックス化，そしてその先のポスト深層学習技術の開発に取り組んでいく。
|
| Strategy for Future Research Activity |
共同研究が増えたことに伴い，当初は想定していなかった方向でリッジレット解析の研究が深堀されつつある。折しも，最近は浅い連続モデルの研究も再過熱気味であるので，良い題材だと考えている。一方，Wasserstein幾何学や微分方程式論を使った解析が普及しつつあり，予断を許さない緊張感がある。初年度に揃えた材料を組み合わせて，簡単なモデルで解析した結果をアウトプットしていく。
|
| Causes of Carryover |
差額分は年度内の出張費として支出済ですが，出張が年度末であったために，所内の事務処理期限までに反映されませんでした。したがって，次年度での使用計画は当該出張費に充てられます。
|
