2022 Fiscal Year Annual Research Report
Stability Analysis and Optimal Synthesis of Recurrent Neural Networks by Conic Programming
| Project/Area Number |
21H01354
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
蛯原 義雄 九州大学, システム情報科学研究院, 教授 (80346080)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
脇 隼人 九州大学, マス・フォア・インダストリ研究所, 准教授 (00567597)
|
|---|
| Project Period (FY) |
2021-04-01 – 2026-03-31
|
| Keywords | 再帰型ニューラルネットワーク / 非線形ダイナミカルシステム / 誘導ノルム / 非負値信号 / 錐計画 |
|---|
| Outline of Annual Research Achievements |
本研究は，制御理論的手法と錐計画を用いた再帰型ニューラルネットワーク（Recurrent Neural Network, RNN）の安定性解析手法と最適設計手法の確立を目的としている．同時に，RNNを包含する，非線形ダイナミカルシステムの解析と設計のための新たな理論的成果の創出を目指している．本年度は，RNNの非線形活性化作用素として標準的に用いられる正規化線形ユニット (Rectified Linear Unit, ReLU) が非負値のみを出力するという性質に着目した．この性質から，RNNの安定性解析問題は，入力を非負に限定した場合の線形時不変システムのL2誘導ノルム（L2+誘導ノルムと称する）の計算問題と密接に関連することをすでにあきらかにしている．L2+誘導ノルムの厳密な計算は非常に困難であるため，本年度はまずL2+誘導ノルムの上界値を求めるための計算手法に焦点をあてた．その結果，非負システムで構成されるフィルタ（非負フィルタ）と共正値計画に基づいた，L2+誘導ノルムの上界値計算手法を構築することができた．一方，L2+誘導ノルムの下界値に関しては，まずL2+誘導ノルムが標準的なL2誘導ノルムよりも一般にどの程度下がり得るかという一様下界値問題を考え，この問題に対する解を閉形式で導いた．さらに対象を1入力システムに限定した場合には，L2+誘導ノルムの（一様下界値よりも小さくない）下界値を計算するための手法を構築した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
これまでの取り組みにより，積分２次制約（Integral Quadratic Constraint, IQC）とマルチプライアを用いたRNNの安定性解析手法に関する基本的な枠組みと，RNNの安定性解析に密接に関連する，線形時不変システムのL2+誘導ノルムの上界値および下界値の計算手法の基本的な枠組みを構築することができている．とくにRNNの非線形活性化作用素として標準的に用いられる ReLU の非負性に着目した安定性解析に関する研究は，独自性の高いものと思われる．これらに関する基本的な考え方をまとめた論文は，European Control Conference 2021 (ECC2021) での発表を受理されただけでなく，one of the very best papers at ECC2021 に選出され，制御分野の主要な国際雑誌の一つである European Journal of Control の特集号に掲載を受理されている．このように我々の研究は国際的にも高く評価されており，研究はおおむね順調に進展しているものと考えられる．
|
| Strategy for Future Research Activity |
これまでの取り組みにより，積分２次制約（Integral Quadratic Constraint, IQC）と共正値マルチプライアを用いたRNNの安定性解析手法に関する基本的な枠組みと，RNNの安定性解析に密接に関連する，入力を非負に限定した場合の線形時不変システムのL2誘導ノルム（L2+誘導ノルムと称する）の上界値および下界値の計算手法の基本的な枠組みを構築することができている．今後は，これらの手法の洗練化を目指す．まず，RNNの安定性解析に関して，これまでは非線形活性化作用素である正規化線形ユニット (Rectified Linear Unit, ReLU) の入出力信号間の非負性に着目し共正値マルチプライアを導入しているが，ReLU の有する冪等性 (idempotence) を用いることで，マルチプライアのクラスを広げることが（したがって安定性解析手法の保守性を低減することが）可能であると考えられる．今後はまず，この冪等性に着目した RNN の新たな安定性解析手法の構築を目指し研究を進める．一方，これと並行して，線形時不変システムのL2+誘導ノルムの下界値解析手法についても検討を行う．これまでの取組で下界値計算のための有効な手法を構築できているが，この手法の適用範囲は1入力システムに限定されている．今後は，この手法の多入力システムへの拡張を目指し研究を進める．これまでと同様，フランスの共同研究者との密接な連携のもと強く研究を推進する．
|
