2021 Fiscal Year Annual Research Report
Stability Analysis and Optimal Synthesis of Recurrent Neural Networks by Conic Programming
| Project/Area Number |
21H01354
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
蛯原 義雄 九州大学, システム情報科学研究院, 教授 (80346080)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
脇 隼人 九州大学, マス・フォア・インダストリ研究所, 准教授 (00567597)
|
|---|
| Project Period (FY) |
2021-04-01 – 2026-03-31
|
| Keywords | 再帰型ニューラルネットワーク / 安定性 / 半正定値計画 / 共正値計画 / 非線形フィードバック系 |
|---|
| Outline of Annual Research Achievements |
2021年度の取り組みにより，積分二次制約（Integral Quadratic Constraint, IQC）と共正値マルチプライアを用いた再帰型ニューラルネットワーク (Reccuernt Neural Network, RNN) の安定性解析に関する基本的な枠組みを構築することができた．本研究では，RNNの活性化関数として正規化線形ユニット(Rectified Linear Unit, ReLU)が標準的に用いられることに着目している．安定性解析における基本的な考え方は，RNNをReLUと線形部からなる非線形フィードバック系と捉え，さらにIQCの枠組みでReLUの出力の非負性を捉えるために共正値マルチプライアを導入することで，RNNの安定性判別を可能とする半正定値計画問題を導出するというものである．ReLUの特性を捉えるために共正値計画という特殊な錐計画を利用している点に本研究の独創性がある．このRNNの安定性解析手法の構築過程で，ReLUの出力が非負値に限定されることに関連して，線形時不変システムの入力を非負に限定した場合のL2誘導ノルム（L2+誘導ノルムと称する）が ，RNN を含むニューラルネットワークの安定性や性能解析において有用であることが分かった．そのため，線形時不変システムのL2+誘導ノルムの解析に関する研究を進め，L2+誘導ノルムの上界値および下界値を算出するための基本的な枠組みを構築した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
線形時不変システムの入力を非負に限定した場合のl2誘導ノルム（l2+誘導ノルム）の解析の基本的な考え方とそのRNNの安定性解析への応用に関して得られた研究成果をまとめ，European Control Conference 2021 (ECC2021) に投稿した．この論文は one of the very best papers at ECC2021 に選出され，European Journal of Control の特集号に掲載を受理された．また，積分二次制約（Integral Quadratic Constraint, IQC）と共正値マルチプライアを用いたRNNの安定性解析手法に関する基本的な枠組みをまとめ，国際会議論文として発表するとともに，２本の論文を国内学術雑誌に投稿し１本は掲載を受理された（１本は査読中）．このように我々の研究は国内外で高く評価されており，研究はおおむね順調に進展しているものと思われる．
|
| Strategy for Future Research Activity |
本年は，線形時不変システムの入力を非負に限定した場合のL2誘導ノルム（L2+誘導ノルム）の解析に焦点をあてて研究を進める．すでにL2+誘導ノルムの上界値を算出するための半正定値計画問題 (Semidefinite Programming Proglem, SDP) の導出に成功しているが，この結果が統一的な IQC の枠組みでどのように解釈できるかあきらかになっていない．一方，L2+誘導ノルムの下界値の算出に関しては，より良い下界値を算出するための SDP の導出といった課題が残されている．さらに下界値の算出に関しては，一般的なLp+誘導ノルムの取り扱いも可能であるという見通しが得られているため，Lp+誘導ノルムの下界値算出手法の構築に関しても検討を進める．
|
