2021 Fiscal Year Annual Research Report
Transportation analysis of deep neural networks
| Project/Area Number |
18K18113
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
園田 翔 国立研究開発法人理化学研究所, 革新知能統合研究センター, 研究員 (00801218)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | ニューラルネット / リッジレット変換 / 零空間 / 調和解析 / Neural ODE / 量子機械学習 / 連続神経場 |
|---|
| Outline of Annual Research Achievements |
本研究課題では，深層ニューラルネットの輸送解釈と積分表現理論の観点からポスト深層学習に向けた技術開発を図る．特に，ブラックボックスとも呼ばれる深層ニューラルネットの情報処理メカニズムを明らかにする，「ニューラルネットのホワイトボックス化」を念頭に置いて研究を遂行している．(1) 愛媛大石川氏・理研AIP池田氏と共同研究を実施し，隠れ1層の全結合型ニューラルネットがもつ零空間の構造を決定した．零空間は1つの関数列を記録できるほど大きいことを明らかにした．また，零空間から像空間に情報を出し入れする方法の原理を発見した．(2) 石川氏・池田氏と一般空間上のニューラルネットを定式化し，対応するリッジレット変換を導出した．具体的には，多様体（非コンパクト対称空間）上の全結合層，群上の畳み込み層，高次元アフィン型の全結合層．ニューラルネットを幾何学的・群論的に捉え直すことで，多様な隠れ層に対するリッジレット変換を統一的な手続きで導出した．リッジレット変換の用途はフーリエ変換と同様に多岐に渡る．得られた結果の一部を解析学の国際会議（ISAAC2021）および機械学習の国際学会（ICML2022, MaxEnt2022）にて発表（一部予定）．(3) 東京大Massaroli氏・鈴木氏らと共同研究を実施し，Neural ODEの順伝播計算を加速する方法を開発した．機械学習の国際学会（NeurIPS2021）にて発表．(4) IQOQI Vienna山崎氏らと共同研究を実施し，クラス判別問題を効率的に計算するための量子計算アルゴリズムを開発した．量子情報処理の国際会議（AQIS2021,QTML2021）にて発表．(5) 理研甘利氏らと共同研究を実施し，NTK理論を応用して連続神経場の学習ダイナミクスを計算した．一連の研究結果を雑誌論文として投稿中．
|
-
-
-
-
-
[Journal Article] Differentiable Multiple Shooting Layers2021
Author(s)
Stefano Massaroli, Michael Poli, Sho Sonoda, Taiji Suzuki, Jinkyoo Park, Atsushi Yamashita, Hajime Asama
-
Journal Title
Advances in Neural Information Processing Systems
Volume: 34
Pages: 16532-16544
Peer Reviewed / Open Access / Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
