2024 Fiscal Year Research-status Report
Stability Analysis and Optimal Synthesis of Recurrent Neural Networks by Conic Programming
| Project/Area Number |
23K20949
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
蛯原 義雄 九州大学, システム情報科学研究院, 教授 (80346080)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
脇 隼人 九州大学, マス・フォア・インダストリ研究所, 准教授 (00567597)
|
|---|
| Project Period (FY) |
2024-04-01 – 2026-03-31
|
| Keywords | 再帰型ニューラルネットワーク / 非線形ダイナミカルシステム / 安定性解析 / 錐計画 |
|---|
| Outline of Annual Research Achievements |
本研究は，制御理論的手法と錐計画を用いた再帰型ニューラルネットワーク（Recurrent Neural Network, RNN）の安定性解析手法と最適設計手法の確立を目的としている．同時に，RNNを包含する，非線形ダイナミカルシステムの解析と設計のための新たな理論的成果の創出を目指している．本年度は，制御理論的手法を用いたRNNの安定性解析に関して，実用的なRNNが多数の非線形活性化作用素を有することが大きな障害となる（計算負荷が膨大となる）ことから，この問題を回避するための非線形活性化作用素の削減手法（モデル圧縮手法）に関して検討を行った．主結果として，圧縮モデルの安定性解析からもとのRNNの安定性を結論づけられるような条件の導出，およびこの条件の成立が期待されるような圧縮モデルの構成手法を構築した．一方，RNNの非線形活性化作用素として標準的に用いられる正規化線形ユニット (Rectified Linear Unit, ReLU) が冪等性 (idempotence) を有することに着目し，RNNの安定性解析のための冪等性を活用した新たな解析手法を開発した．具体的には，O'shea-Zames-Falb (OZF) マルチプライアを用いて導出される安定性解析条件に関して，冪等性を利用することで OZF マルチプライアの自由度を高めることができる（安定性解析条件の保守性を低減することができる）ことを示すことに成功した．その他，非線形フィードバックシステムの絶対安定性に関しても研究を展開し，絶対安定性を保証する線形行列不等式（Linear Matrix Inequality, LMI）が成立しない場合に，その双対 LMI の解が特定の条件を満足すれば，フィードバックシステムを不安定化させる非線形作用素を具体的に構築できることなどを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
これまでの取り組みにより，積分２次制約（Integral Quadratic Constraint, IQC）とマルチプライアを用いたRNNの安定性解析手法，RNNの安定性解析に密接に関連する，線形時不変システムのL2+誘導ノルムの上界値および下界値の計算手法，錐計画を用いたフィードフォワードニューラルネットワークの信頼性保証，RNNのモデル圧縮，非線形作用素の冪等性を利用した安定性解析条件，非線形フィードバックシステムの絶対安定性解析における不安定化非線形作用素の抽出などに関する基本的な枠組みを構築することができている．L2+誘導ノルムの解析に関する研究は独自性の高いものであり，下界値解析手法に関する研究に対して2023年度計測自動制御学会制御制御部門マルチシンポジウム賞（基礎分野）を受賞した．一方，RNNの安定性解析に関する基本的な結果をまとめた論文に関しては，2024年度システム制御情報学会学会賞論文賞を受賞している．その他，RNNのモデル圧縮や非線形作用素の冪等性を利用した安定性解析条件に関する基本的な結果をまとめた論文が制御分野の top conference の一つである Conference on Decison and Control (2024) に採択されるなど，我々の研究は国内外で高く評価されており，研究はおおむね順調に進展しているものと思われる．
|
| Strategy for Future Research Activity |
今後は，これまでに得られた再帰型ニューラルネットワーク（Recurrent Neural Network, RNN）の安定性解析に関する結果を基盤としつつ，安定性を保証した RNN の学習手法の構築，標準的な RNN よりも複雑な記憶構造を有する長短期記憶機構を有するRNN の安定性解析手法の確立，非線形ダイナミカルシステムの安定性保証・不安定性検出などに関する研究を広く展開する．制御理論，最適化理論を駆使した研究となるが，これらの分野を専門とする共同研究者である D. Peaucelle, S. Tarbouriech, V. Magron （LAAS-CNRS, France）らとの密接な連携を維持し，強固な国際共同研究実施体制のもとで研究を推進する．
|
