機械学習アルゴリズムの身体性再考－学習する物理ダイナミクスの数理と設計
| Project/Area Number |
22K21295
|
|---|
| Research Category |
Grant-in-Aid for Research Activity Start-up
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
1002:Human informatics, applied informatics and related fields
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
井上 克馬 東京大学, 大学院情報理工学系研究科, 助教 (20962294)
|
|---|
| Project Period (FY) |
2022-08-31 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | 物理レザバー計算 / 非線形力学系 / 深層学習 / 誤差逆伝搬法 / 拡張DFA法 / ニューロモーフィックデバイス / ニューラルネットワーク / 機械学習 / リザバー計算 / 物理リザバー計算 |
|---|
| Outline of Research at the Start |
人間は卓越した学習機能を有ししなやかな振る舞いを実現している。機械学習はこの学習機能を模した計算モデルを構成する諸手法の総称であり近年その汎用性から脚光を浴びている。一方で現状の機械学習は計算機上の静的なアルゴリズムとして無定形に実装され、その様態は脳-身体-環境間の複雑な相互作用、すなわち身体性の動的な構造として立ち現れる人間のそれとは大きく乖離している。本研究では、脳・身体における多数の要素間の相互作用を抽象化した非線形力学系上で、機械学習アルゴリズムと等価な機能性を有する数理モデルの汎用的な構成法を開発しその系統的な解析を通して人間の学習機能の背後にある普遍的な数理的特性を明らかにする。
|
| Outline of Annual Research Achievements |
本研究では、脳・身体における多数の要素間の相互作用を抽象化した非線形力学系上で、機械学習アルゴリズムと等価な機能性を有する数理モデルの汎用的な構成法を開発し、その系統的な解析を通して人間の学習機能の背後に通底する普遍的な数理的特性の解明を目指す。本年度ではその前段階として、埋め込む対象となる学習アルゴリズムを再検討し、数値安定性と情報処理能力の両者を担保するものを選定した。次年度はこの学習アルゴリズムをニューラルネットワーク上に構成するアルゴリズムを開発し、その力学系的特性の解析に注力する。
また並行して、日本電信電話株式会社との共同研究の中で、脳の情報処理様態から得た着想を基に、深層ニューラルネットワーク（以下DNN）並びに、ニューロモーフィックデバイスの一種で物理系を計算過程に用いる物理ニューラルネットワーク（以下PNN）に適した学習アルゴリズムを開発し、数値計算並びに光ニューラルネットワークを用いた物理実装によりその有効性を確認した[M. Nakajima & K. Inoue, et. al., Nature Communications, 2022]。従来のDNNの学習には一般に誤差逆伝搬法（以下BP法）と呼ばれる学習アルゴリズムが使用されてきたが、その際システム、すなわちDNNやPNNの情報処理過程や微分応答の正確な把握が要求される。その制約のためPNNの拡張性並びに有効性がこれまで大幅に制限されていた。本研究で新たに開発された拡張 DFA 法と呼ばれる学習アルゴリズムは、そのようなシステムの精密な把握を必要としないため、PNN、より一般にニューロモーフィックデバイスの制御において活用されることが期待される。また一種のPNN とも捉えられる生理学的な脳の学習メカニズムとしても、BP法に比べ拡張DFA法は制約の少なさという観点からより妥当な形式であり、この研究を契機に今後脳が有する高度な学習機能の背後にある普遍的な数理的特性の解明につながると期待される。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本年度は、本研究の基盤となる学習アルゴリズムそのものの選定に注力し、実際にある条件において、アルゴリズムそのものがある種の情報処理能力を潜在的に有することを確認した。また本年度発表された拡張DFA法と一連の成果は、現状DNNの学習に最も広く用いられているBP法の制約に関して再考を促すものであり、ニューロモーフィックデバイスの開発において極めて重要な意義を有する。このように、研究の目的を達成する上で重要な成果と知見が得られたため、当初の計画以上の進展があったと言える。
|
| Strategy for Future Research Activity |
今後の研究の推進方策として、まず引き続き選定した学習アルゴリズムの力学系的特性の解析を行う。またこれまで得られた埋め込みアルゴリズムを用い、実際に上記の学習アルゴリズムをニューラルネットワーク上に表現し、その埋め込み精度並びに力学系的特性を並行して解析する。
|
Report
(1 results)
Research Products
(4 results)
