| 研究課題/領域番号 |
23K20949
|
|---|
| 補助金の研究課題番号 |
21H01354 (2021-2023)
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 基金 (2024)
補助金 (2021-2023) |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分21040:制御およびシステム工学関連
|
|---|
| 研究機関 | 九州大学 |
|---|
研究代表者 |
蛯原 義雄 九州大学, システム情報科学研究院, 教授 (80346080)
|
|---|
| 研究分担者 |
脇 隼人 九州大学, マス・フォア・インダストリ研究所, 准教授 (00567597)
|
|---|
| 研究期間 (年度) |
2024-04-01 – 2026-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
16,770千円 (直接経費: 12,900千円、間接経費: 3,870千円)
2025年度: 3,250千円 (直接経費: 2,500千円、間接経費: 750千円)
2024年度: 4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円)
2023年度: 3,380千円 (直接経費: 2,600千円、間接経費: 780千円)
2022年度: 3,380千円 (直接経費: 2,600千円、間接経費: 780千円)
2021年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
|
|---|
| キーワード | 再帰型ニューラルネットワーク / 非線形ダイナミカルシステム / 安定性解析 / 錐計画 / 安定性 / 半正定値計画 / 共正値計画 / 非線形フィードバック系 / 非負値信号 / 誘導ノルム |
|---|
| 研究開始時の研究の概要 |
時系列解析や自然言語処理の分野で，再帰型ニューラルネットワーク（Recurrent Neural Network, RNN）の有効性が広く認識されている．RNNの最大の特徴はフィードバック機構を有することであり，この機構のおかげでRNNはダイナミカルシステムの振る舞いを模擬できる．しかしながらこのフィードバック機構の存在により，重みや活性化関数の選定によってはRNNの振る舞いが不安定化する．そこで本研究では，制御理論および最適化理論に基づいた，RNNの安定性解析手法の確立を目指す．すなわち，RNNの安定性を判別する問題を凸可解問題に帰着させ，その可解性によって安定判別を行う手法を確立する．
|
| 研究実績の概要 |
本研究は，制御理論的手法と錐計画を用いた再帰型ニューラルネットワーク（Recurrent Neural Network, RNN）の安定性解析手法と最適設計手法の確立を目的としている．同時に，RNNを包含する，非線形ダイナミカルシステムの解析と設計のための新たな理論的成果の創出を目指している．本年度は，制御理論的手法を用いたRNNの安定性解析に関して，実用的なRNNが多数の非線形活性化作用素を有することが大きな障害となる（計算負荷が膨大となる）ことから，この問題を回避するための非線形活性化作用素の削減手法（モデル圧縮手法）に関して検討を行った．主結果として，圧縮モデルの安定性解析からもとのRNNの安定性を結論づけられるような条件の導出，およびこの条件の成立が期待されるような圧縮モデルの構成手法を構築した．一方，RNNの非線形活性化作用素として標準的に用いられる正規化線形ユニット (Rectified Linear Unit, ReLU) が冪等性 (idempotence) を有することに着目し，RNNの安定性解析のための冪等性を活用した新たな解析手法を開発した．具体的には，O'shea-Zames-Falb (OZF) マルチプライアを用いて導出される安定性解析条件に関して，冪等性を利用することで OZF マルチプライアの自由度を高めることができる（安定性解析条件の保守性を低減することができる）ことを示すことに成功した．その他，非線形フィードバックシステムの絶対安定性に関しても研究を展開し，絶対安定性を保証する線形行列不等式（Linear Matrix Inequality, LMI）が成立しない場合に，その双対 LMI の解が特定の条件を満足すれば，フィードバックシステムを不安定化させる非線形作用素を具体的に構築できることなどを示した．
|
| 現在までの達成度 |
現在までの達成度
2: おおむね順調に進展している
理由
これまでの取り組みにより，積分２次制約（Integral Quadratic Constraint, IQC）とマルチプライアを用いたRNNの安定性解析手法，RNNの安定性解析に密接に関連する，線形時不変システムのL2+誘導ノルムの上界値および下界値の計算手法，錐計画を用いたフィードフォワードニューラルネットワークの信頼性保証，RNNのモデル圧縮，非線形作用素の冪等性を利用した安定性解析条件，非線形フィードバックシステムの絶対安定性解析における不安定化非線形作用素の抽出などに関する基本的な枠組みを構築することができている．L2+誘導ノルムの解析に関する研究は独自性の高いものであり，下界値解析手法に関する研究に対して2023年度計測自動制御学会制御制御部門マルチシンポジウム賞（基礎分野）を受賞した．一方，RNNの安定性解析に関する基本的な結果をまとめた論文に関しては，2024年度システム制御情報学会学会賞論文賞を受賞している．その他，RNNのモデル圧縮や非線形作用素の冪等性を利用した安定性解析条件に関する基本的な結果をまとめた論文が制御分野の top conference の一つである Conference on Decison and Control (2024) に採択されるなど，我々の研究は国内外で高く評価されており，研究はおおむね順調に進展しているものと思われる．
|
| 今後の研究の推進方策 |
今後は，これまでに得られた再帰型ニューラルネットワーク（Recurrent Neural Network, RNN）の安定性解析に関する結果を基盤としつつ，安定性を保証した RNN の学習手法の構築，標準的な RNN よりも複雑な記憶構造を有する長短期記憶機構を有するRNN の安定性解析手法の確立，非線形ダイナミカルシステムの安定性保証・不安定性検出などに関する研究を広く展開する．制御理論，最適化理論を駆使した研究となるが，これらの分野を専門とする共同研究者である D. Peaucelle, S. Tarbouriech, V. Magron （LAAS-CNRS, France）らとの密接な連携を維持し，強固な国際共同研究実施体制のもとで研究を推進する．
|
