| 研究課題/領域番号 |
23K28157
|
|---|
| 補助金の研究課題番号 |
23H03467 (2023)
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 基金 (2024)
補助金 (2023) |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61040:ソフトコンピューティング関連
|
|---|
| 研究機関 | 金沢大学 |
|---|
研究代表者 |
砂田 哲 金沢大学, 機械工学系, 教授 (10463704)
|
|---|
| 研究分担者 |
新山 友暁 金沢大学, 機械工学系, 准教授 (00583858)
|
|---|
| 研究期間 (年度) |
2023-04-01 – 2026-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
18,850千円 (直接経費: 14,500千円、間接経費: 4,350千円)
2025年度: 4,940千円 (直接経費: 3,800千円、間接経費: 1,140千円)
2024年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
2023年度: 8,710千円 (直接経費: 6,700千円、間接経費: 2,010千円)
|
|---|
| キーワード | 物理深層学習 / 最適制御 / 物理ニューラルネットワーク / DFA / 学習 |
|---|
| 研究開始時の研究の概要 |
本研究では、最適制御理論に基づき連続時間の時間発展則に従う非線形力学系を深層学習器として利用する手法を確立する。この手法により、どのような力学系において高い情報処理能力があるかを明らかにして、 力学系理論の観点から、ブラックボックスと言われる深層学習メカニズムの解明に迫る。また、本提案を実際の物理システムへ実装することを想定し、実装が容易となる新たな制御手法の確立も目指す。
|
| 研究実績の概要 |
本研究の目的は、最適制御理論に基づき連続時間の時間発展則に従う非線形力学系を深層学習器として利用する手法を確立することである。本年度の成果の１つは、最適制御によるadjoint法とDirect Feedback Alignment (DFA)と呼ばれる学習手法を合わせた学習アルゴリズム(DFA-Adjoint)を開発し、ノイズに対するロバストネスを明らかにした点である。本提案のDFA-Adjointは、通常のAdjoint法のようにadjointベクトルの逆伝搬演算を必要としない。よって、逆伝搬のために必要とされるシステムの詳細な情報を知る必要がないため、物理システムへの実装が容易となる。さらにDFAのように逆伝搬を直接的なランダム行列のフィードバックに置き換えるため、学習時間の大幅な短縮も可能となる。本研究では、時間遅延を有する非線形システムにDFA-Adjoint法を適用したところ、通常のAdjoint法と比較して、分類性能の劣化を抑えつつ約半分の時間で学習が可能となることを明らかにした。また、DFA-Adjointは、システムにノイズが混入した場合であっても精度劣化を抑えつつ学習が可能となることを示した。そのノイズ耐性は、制御なし学習方法（ELM）と比較して格段に高くなることを明らかにした。また、システムパラメータに対する依存性が低いため、パラメータ値に不確定性があった場合でも、高い学習性能を維持できる場合があることも明らかにした。次に、DFA-Adjointで用いるランダム行列の時間依存性について調べたところ、システムのダイナミクスと同等のタイムスケールの時系列を用いる必要があり、その依存性を調べた。さらに、マスクパターンも学習可能なDFA-Adjoint法も開発し、学習したマスクパターンの利用により分類精度の向上が可能であることを明らかにした。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当該年度は、当初の予定に従いDFA-Adjoint法の開発と改良に取り組み、上述のように良好な結果を得た。
|
| 今後の研究の推進方策 |
本年度の研究では、１つの時間遅延フィードバックしか持たない時間遅延系を用いたが、遅延フィードバックの数を増加させることで、より密なネットワークを構築でき、分類性能の向上が可能であると考えられるため、多重の遅延フィードバックを有するシステムに本手法を適用させて、その有効性を検証する。また、動的システムの平衡状態を学習に用いることで、仮想的に無限の層を有するニューラルネットワークを表現できるので、そのアイデアを時間遅延系に適用して学習可能なアルゴリズムを開発する。
|
