2023 Fiscal Year Annual Research Report
Stability Analysis and Optimal Synthesis of Recurrent Neural Networks by Conic Programming
| Project/Area Number |
21H01354
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
蛯原 義雄 九州大学, システム情報科学研究院, 教授 (80346080)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
脇 隼人 九州大学, マス・フォア・インダストリ研究所, 准教授 (00567597)
|
|---|
| Project Period (FY) |
2021-04-01 – 2026-03-31
|
| Keywords | 再帰型ニューラルネットワーク / 非線形ダイナミカルシステム / 安定性解析 / 非負値信号 / 錐計画 |
|---|
| Outline of Annual Research Achievements |
本研究は，制御理論的手法と錐計画を用いた再帰型ニューラルネットワーク（Recurrent Neural Network, RNN）の安定性解析手法と最適設計手法の確立を目的としている．同時に，RNNを包含する，非線形ダイナミカルシステムの解析と設計のための新たな理論的成果の創出を目指している．本年度は，RNNの非線形活性化作用素として標準的に用いられる正規化線形ユニット (Rectified Linear Unit, ReLU) が冪等性 (idempotence) を有することに着目し，RNNの安定性解析のための冪等性を活用した新たな解析手法を開発した．一方，RNNの安定性解析問題は，入力を非負に限定した場合の線形時不変システムのL2誘導ノルム（L2+誘導ノル
ムと称する）の計算問題と密接に関連している．L2+誘導ノルムの厳密な計算は非常に困難であるため，昨年度までは上界値計算手法，対象を1入力システムに限定した場合の下界値計算手法の開発を進めてきたが，今年度はこの下界値計算手法を多入力システムに拡張することに成功した．さらに本研究は，動的なニューラルネットワークであるRNNを主たる研究対象とするものであるが，解析に関する基本的なアイデアは静的なニューラルネットワークであるフィードフォワードニューラルネットワーク（Feedforward Neural Network, FNN）にも適用可能である．本年度は，画像認識などに用いられるFNNの信頼性を解析するための，錐計画に基づく新たな解析手法を開発することに成功した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
これまでの取り組みにより，積分２次制約（Integral Quadratic Constraint, IQC）とマルチプライアを用いたRNNの安定性解析手法に関する基本的な枠組みと，RNNの安定性解析に密接に関連する，線形時不変システムのL2+誘導ノルムの上界値および下界値の計算手法の基本的な枠組みを構築することができている．とくにRNNの非線形活性化作用素として標準的に用いられる ReLU の非負性に着目した安定性解析に関する研究は，独自性の高いものと思われる．これらに関する基本的な考え方をまとめた論文は，European Control Conference 2021 (ECC2021) での発表を受理されただけでなく，one of the very best papers at ECC2021 に選出され，制御分野の主要な国際雑誌の一つである European Journal of Control の特集号に掲載を受理された．一方，L2+誘導ノルムの解析に関する研究自体も独自性の高いものであり，下界値解析手法に関する研究に対して2023年度計測自動制御学会制御制御部門マルチシンポジウム賞（基礎分野）が授与されるなどの評価が得られている．このように我々の研究は国内外で高く評価されており，研究はおおむね順調に進展しているものと思われる．
|
| Strategy for Future Research Activity |
今後は，これまでに得られた再帰型ニューラルネットワーク（Recurrent Neural Network, RNN）の安定性解析に関する結果を基盤としつつ，大規模RNNのモデル縮約（非線形活性化関数の個数の低減），非線形ダイナミカルシステムの安定性保証・不安定性検出，静的なニューラルネットワークであるフィードフォワードニューラルネットワークの信頼性保証に関する研究を広く展開する．制御理論，最適化理論を駆使した研究となるが，これらの分野を専門とする共同研究者であるD. Peaucelle, S. Tarbouriech, V. Magron （LAAS-CNRS, France）らとの密接な連携を維持し，強固な国際共同研究実施体制のもとで研究を推進する．
|
