2022 Fiscal Year Research-status Report
機械学習アルゴリズムの身体性再考－学習する物理ダイナミクスの数理と設計
| Project/Area Number |
22K21295
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
井上 克馬 東京大学, 大学院情報理工学系研究科, 助教 (20962294)
|
|---|
| Project Period (FY) |
2022-08-31 – 2024-03-31
|
| Keywords | 物理レザバー計算 / 非線形力学系 / 深層学習 / 誤差逆伝搬法 / 拡張DFA法 / ニューロモーフィックデバイス / ニューラルネットワーク / 機械学習 |
|---|
| Outline of Annual Research Achievements |
本研究では、脳・身体における多数の要素間の相互作用を抽象化した非線形力学系上で、機械学習アルゴリズムと等価な機能性を有する数理モデルの汎用的な構成法を開発し、その系統的な解析を通して人間の学習機能の背後に通底する普遍的な数理的特性の解明を目指す。本年度ではその前段階として、埋め込む対象となる学習アルゴリズムを再検討し、数値安定性と情報処理能力の両者を担保するものを選定した。次年度はこの学習アルゴリズムをニューラルネットワーク上に構成するアルゴリズムを開発し、その力学系的特性の解析に注力する。
また並行して、日本電信電話株式会社との共同研究の中で、脳の情報処理様態から得た着想を基に、深層ニューラルネットワーク（以下DNN）並びに、ニューロモーフィックデバイスの一種で物理系を計算過程に用いる物理ニューラルネットワーク（以下PNN）に適した学習アルゴリズムを開発し、数値計算並びに光ニューラルネットワークを用いた物理実装によりその有効性を確認した[M. Nakajima & K. Inoue, et. al., Nature Communications, 2022]。従来のDNNの学習には一般に誤差逆伝搬法（以下BP法）と呼ばれる学習アルゴリズムが使用されてきたが、その際システム、すなわちDNNやPNNの情報処理過程や微分応答の正確な把握が要求される。その制約のためPNNの拡張性並びに有効性がこれまで大幅に制限されていた。本研究で新たに開発された拡張 DFA 法と呼ばれる学習アルゴリズムは、そのようなシステムの精密な把握を必要としないため、PNN、より一般にニューロモーフィックデバイスの制御において活用されることが期待される。また一種のPNN とも捉えられる生理学的な脳の学習メカニズムとしても、BP法に比べ拡張DFA法は制約の少なさという観点からより妥当な形式であり、この研究を契機に今後脳が有する高度な学習機能の背後にある普遍的な数理的特性の解明につながると期待される。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本年度は、本研究の基盤となる学習アルゴリズムそのものの選定に注力し、実際にある条件において、アルゴリズムそのものがある種の情報処理能力を潜在的に有することを確認した。また本年度発表された拡張DFA法と一連の成果は、現状DNNの学習に最も広く用いられているBP法の制約に関して再考を促すものであり、ニューロモーフィックデバイスの開発において極めて重要な意義を有する。このように、研究の目的を達成する上で重要な成果と知見が得られたため、当初の計画以上の進展があったと言える。
|
| Strategy for Future Research Activity |
今後の研究の推進方策として、まず引き続き選定した学習アルゴリズムの力学系的特性の解析を行う。またこれまで得られた埋め込みアルゴリズムを用い、実際に上記の学習アルゴリズムをニューラルネットワーク上に表現し、その埋め込み精度並びに力学系的特性を並行して解析する。
|
| Causes of Carryover |
今年度の予算を含めて数値実験用の高性能のgpgpuセットアップを購入するため、次年度に予算を繰り越した。次年度は主に上記のセットアップの購入に予算を計上する。
|
Research Products
(4 results)
