2020 Fiscal Year Research-status Report
Transportation analysis of deep neural networks
| Project/Area Number |
18K18113
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
園田 翔 国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (00801218)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | ニューラルネット / リッジレット変換 / ラドン変換 / オーバーパラメトライズ / ランダム特徴量 / 量子機械学習 / 近似下限 / ODE-Net |
|---|
| Outline of Annual Research Achievements |
本研究課題では，深層ニューラルネットの輸送解釈と積分表現理論の観点からポスト深層学習に向けた技術開発を図る．特に，ブラックボックスとも呼ばれる深層ニューラルネットの情報処理メカニズムを明らかにする，「ニューラルネットのホワイトボックス化」を念頭に置いて研究を遂行している．(1) 積分表現からリッジレット変換を自然に導出するための幾何学的・解析学的な原理を集中的に調査し，複数の新しいリッジレット変換を導出した．得られた結果の一部を国内学会で発表した．さらに一般化した結果を準備中である．(2) 石川氏（愛媛大・理研AIP）・池田氏（理研AIP）と共同研究を行い，標準的な学習法（L2正則化付き経験二乗誤差最小解）で得られる隠れ1層をもつ有限ニューラルネットのパラメータ分布がオーバーパラメトライズ極限においてリッジレット変換を用いた一意な閉形式で表示できることを明らかにした．得られた結果を機械学習の国際会議AISTATS2021（次年度）に採択された．(3) 山崎氏（IQOQI Vienna）らと共同研究を行い，量子計算機を用いてランダム特徴量学習を高速化する方法を提案した．得られた結果を機械学習の国際会議（NeurIPS2020）および量子情報処理の国際会議（AQIS2020）でそれぞれ発表した．(4) Ming Li 氏（浙江師範大学）らと共同研究を行い，ニューラルネットのパラメータ分布が有界領域に制限されている場合に，表現力が制限される度合い（近似下限）を定量的に求める公式を導出した．得られた公式はアルゴリズムの設計指標として応用できる．得られた結果を国内学会で発表し，ロングバージョンを投稿中．(5) 制御理論や常微分方程式に造詣の深い国内外の研究者らと ODE-Net に関する共同研究を行った．得られた複数の結果を国内学会および国際学会（DEDS2021）で発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
特に(1)を進めたことにより，ニューラルネットを一般の図形上で定式化するための一般的な理論の展開に道筋が付いたため．
|
| Strategy for Future Research Activity |
当初の研究計画に則り研究を推進する．特に，(1)および(5)を重点的に推進する．
|
| Causes of Carryover |
COVID19のため出張費の支出がなくなった．オンラインで研究を遂行するためクラウドサービスに支出した．
|
Research Products
(18 results)
