| Project/Area Number |
23K28157
|
|---|
| Project/Area Number (Other) |
23H03467 (2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Kanazawa University |
|---|
Principal Investigator |
砂田 哲 金沢大学, 機械工学系, 教授 (10463704)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
新山 友暁 金沢大学, 機械工学系, 准教授 (00583858)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥18,850,000 (Direct Cost: ¥14,500,000、Indirect Cost: ¥4,350,000)
Fiscal Year 2025: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
Fiscal Year 2024: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2023: ¥8,710,000 (Direct Cost: ¥6,700,000、Indirect Cost: ¥2,010,000)
|
|---|
| Keywords | 物理深層学習 / 最適制御 / 物理ニューラルネットワーク / DFA / 学習 |
|---|
| Outline of Research at the Start |
本研究では、最適制御理論に基づき連続時間の時間発展則に従う非線形力学系を深層学習器として利用する手法を確立する。この手法により、どのような力学系において高い情報処理能力があるかを明らかにして、 力学系理論の観点から、ブラックボックスと言われる深層学習メカニズムの解明に迫る。また、本提案を実際の物理システムへ実装することを想定し、実装が容易となる新たな制御手法の確立も目指す。
|
| Outline of Annual Research Achievements |
本研究の目的は、最適制御理論に基づき連続時間の時間発展則に従う非線形力学系を深層学習器として利用する手法を確立することである。本年度の成果の１つは、最適制御によるadjoint法とDirect Feedback Alignment (DFA)と呼ばれる学習手法を合わせた学習アルゴリズム(DFA-Adjoint)を開発し、ノイズに対するロバストネスを明らかにした点である。本提案のDFA-Adjointは、通常のAdjoint法のようにadjointベクトルの逆伝搬演算を必要としない。よって、逆伝搬のために必要とされるシステムの詳細な情報を知る必要がないため、物理システムへの実装が容易となる。さらにDFAのように逆伝搬を直接的なランダム行列のフィードバックに置き換えるため、学習時間の大幅な短縮も可能となる。本研究では、時間遅延を有する非線形システムにDFA-Adjoint法を適用したところ、通常のAdjoint法と比較して、分類性能の劣化を抑えつつ約半分の時間で学習が可能となることを明らかにした。また、DFA-Adjointは、システムにノイズが混入した場合であっても精度劣化を抑えつつ学習が可能となることを示した。そのノイズ耐性は、制御なし学習方法（ELM）と比較して格段に高くなることを明らかにした。また、システムパラメータに対する依存性が低いため、パラメータ値に不確定性があった場合でも、高い学習性能を維持できる場合があることも明らかにした。次に、DFA-Adjointで用いるランダム行列の時間依存性について調べたところ、システムのダイナミクスと同等のタイムスケールの時系列を用いる必要があり、その依存性を調べた。さらに、マスクパターンも学習可能なDFA-Adjoint法も開発し、学習したマスクパターンの利用により分類精度の向上が可能であることを明らかにした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該年度は、当初の予定に従いDFA-Adjoint法の開発と改良に取り組み、上述のように良好な結果を得た。
|
| Strategy for Future Research Activity |
本年度の研究では、１つの時間遅延フィードバックしか持たない時間遅延系を用いたが、遅延フィードバックの数を増加させることで、より密なネットワークを構築でき、分類性能の向上が可能であると考えられるため、多重の遅延フィードバックを有するシステムに本手法を適用させて、その有効性を検証する。また、動的システムの平衡状態を学習に用いることで、仮想的に無限の層を有するニューラルネットワークを表現できるので、そのアイデアを時間遅延系に適用して学習可能なアルゴリズムを開発する。
|
