2019 Fiscal Year Research-status Report
Transportation analysis of deep neural networks
| Project/Area Number |
18K18113
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
園田 翔 国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (00801218)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | ニューラルネット / カーネル求積 / 局所ラデマッハ複雑度 / 量子計算機 / ベゾフ空間 / 連続神経場 / リッジレット解析 / ODE-Net |
|---|
| Outline of Annual Research Achievements |
本研究課題では，深層ニューラルネットの輸送解釈と積分表現理論の観点からポスト深層学習に向けた技術開発を図る。特に，ブラックボックスとも呼ばれる深層ニューラルネットの情報処理メカニズムを明らかにする，「ニューラルネットのホワイトボックス化」を念頭に置いて研究を遂行している。2018年度の研究成果により，標準的な学習法によって得られるニューラルネットの解析がリッジレット・スペクトルの解析に帰着できることが分かってきたことを踏まえ，今年度は「連続モデルの離散化」という問題を軸として多方面に展開した。(1) カーネル求積を用いて連続モデルを離散化する方法をいくつか開発し，国内外の研究会で発表した（招待講演含む）。提案アルゴリズムに対して局所ラデマッハ複雑度を用いて汎化性能を理論的に評価したものを現在投稿中である。(2) 量子計算機の専門家である東大・山崎隼汰博士らと連続モデルの離散化法に関する共同研究を行い，量子計算機を用いて古典計算機よりも高速にサンプリングするアルゴリズムを提案し，得られた結果を国内学会で発表した。(3) ベゾフ空間論の専門家である名古屋大・谷口晃一博士らと連続モデルの汎化誤差評価に関する共同研究を行い，得られた結果を国内学会で発表した。(4) 神経科学に造詣の深い研究者複数名（理研・甘利俊一先生ほか）と連続神経場モデルの neural tangent kernel (NTK) 理論に関する共同研究を行い，得られた結果を国内学会および国際学会で発表した。(5) 信号処理の専門家である華南師範大学・Ming Li博士らと連続モデルの表現力に関する共同研究を行い，リッジレット解析を用いて新しい近似下限を導出した。得られた結果は現在投稿中である。(6) 力学系に造詣の深い研究者複数名とODE-Netに関する共同研究を行った。（招待講演多数。新型コロナにより休止中）
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度は「連続モデルの離散化」を深掘りした結果，特に浅い連続モデル（積分表現）のホワイトボックス化において進展があった。また，解析学だけでなく物理学や神経科学の研究者とも議論をするようになり，問題意識が多様化した。一方，深層連続モデルの解析についても多方面の研究者と議論が活発化していたが，新型コロナのために中断している。これらの進捗状況を踏まえて上記区分を選択した。
|
| Strategy for Future Research Activity |
当初の研究計画に則り研究を遂行する。特に，新型コロナのために中断していた深層連続モデルの解析を再開する。また，昨年度の結果は投稿中であり，引き続きアップデートを続ける。当初想定していたよりも共同研究の輪が広がっており，今後も臨機応変に研究を広げる。
|
| Causes of Carryover |
新型コロナの影響により年度末に予定されていた国内出張が中止となったため。
|
Research Products
(25 results)
