| 研究課題/領域番号 |
23K20949
|
|---|
| 補助金の研究課題番号 |
21H01354 (2021-2023)
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 基金 (2024)
補助金 (2021-2023) |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分21040:制御およびシステム工学関連
|
|---|
| 研究機関 | 九州大学 |
|---|
研究代表者 |
蛯原 義雄 九州大学, システム情報科学研究院, 教授 (80346080)
|
|---|
| 研究分担者 |
脇 隼人 九州大学, マス・フォア・インダストリ研究所, 准教授 (00567597)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2026-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
16,770千円 (直接経費: 12,900千円、間接経費: 3,870千円)
2025年度: 3,250千円 (直接経費: 2,500千円、間接経費: 750千円)
2024年度: 4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円)
2023年度: 3,380千円 (直接経費: 2,600千円、間接経費: 780千円)
2022年度: 3,380千円 (直接経費: 2,600千円、間接経費: 780千円)
2021年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
|
|---|
| キーワード | 再帰型ニューラルネットワーク / 安定性 / 半正定値計画 / 共正値計画 / 非線形フィードバック系 / 非線形ダイナミカルシステム / 安定性解析 / 非負値信号 / 錐計画 / 誘導ノルム |
|---|
| 研究開始時の研究の概要 |
時系列解析や自然言語処理の分野で，再帰型ニューラルネットワーク（Recurrent Neural Network, RNN）の有効性が広く認識されている．RNNの最大の特徴はフィードバック機構を有することであり，この機構のおかげでRNNはダイナミカルシステムの振る舞いを模擬できる．しかしながらこのフィードバック機構の存在により，重みや活性化関数の選定によってはRNNの振る舞いが不安定化する．そこで本研究では，制御理論および最適化理論に基づいた，RNNの安定性解析手法の確立を目指す．すなわち，RNNの安定性を判別する問題を凸可解問題に帰着させ，その可解性によって安定判別を行う手法を確立する．
|
| 研究実績の概要 |
本研究は，制御理論的手法と錐計画を用いた再帰型ニューラルネットワーク（Recurrent Neural Network, RNN）の安定性解析手法と最適設計手法の確立を目的としている．同時に，RNNを包含する，非線形ダイナミカルシステムの解析と設計のための新たな理論的成果の創出を目指している．本年度は，RNNの非線形活性化作用素として標準的に用いられる正規化線形ユニット (Rectified Linear Unit, ReLU) が冪等性 (idempotence) を有することに着目し，RNNの安定性解析のための冪等性を活用した新たな解析手法を開発した．一方，RNNの安定性解析問題は，入力を非負に限定した場合の線形時不変システムのL2誘導ノルム（L2+誘導ノル
ムと称する）の計算問題と密接に関連している．L2+誘導ノルムの厳密な計算は非常に困難であるため，昨年度までは上界値計算手法，対象を1入力システムに限定した場合の下界値計算手法の開発を進めてきたが，今年度はこの下界値計算手法を多入力システムに拡張することに成功した．さらに本研究は，動的なニューラルネットワークであるRNNを主たる研究対象とするものであるが，解析に関する基本的なアイデアは静的なニューラルネットワークであるフィードフォワードニューラルネットワーク（Feedforward Neural Network, FNN）にも適用可能である．本年度は，画像認識などに用いられるFNNの信頼性を解析するための，錐計画に基づく新たな解析手法を開発することに成功した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
これまでの取り組みにより，積分２次制約（Integral Quadratic Constraint, IQC）とマルチプライアを用いたRNNの安定性解析手法に関する基本的な枠組みと，RNNの安定性解析に密接に関連する，線形時不変システムのL2+誘導ノルムの上界値および下界値の計算手法の基本的な枠組みを構築することができている．とくにRNNの非線形活性化作用素として標準的に用いられる ReLU の非負性に着目した安定性解析に関する研究は，独自性の高いものと思われる．これらに関する基本的な考え方をまとめた論文は，European Control Conference 2021 (ECC2021) での発表を受理されただけでなく，one of the very best papers at ECC2021 に選出され，制御分野の主要な国際雑誌の一つである European Journal of Control の特集号に掲載を受理された．一方，L2+誘導ノルムの解析に関する研究自体も独自性の高いものであり，下界値解析手法に関する研究に対して2023年度計測自動制御学会制御制御部門マルチシンポジウム賞（基礎分野）が授与されるなどの評価が得られている．このように我々の研究は国内外で高く評価されており，研究はおおむね順調に進展しているものと思われる．
|
| 今後の研究の推進方策 |
今後は，これまでに得られた再帰型ニューラルネットワーク（Recurrent Neural Network, RNN）の安定性解析に関する結果を基盤としつつ，大規模RNNのモデル縮約（非線形活性化関数の個数の低減），非線形ダイナミカルシステムの安定性保証・不安定性検出，静的なニューラルネットワークであるフィードフォワードニューラルネットワークの信頼性保証に関する研究を広く展開する．制御理論，最適化理論を駆使した研究となるが，これらの分野を専門とする共同研究者であるD. Peaucelle, S. Tarbouriech, V. Magron （LAAS-CNRS, France）らとの密接な連携を維持し，強固な国際共同研究実施体制のもとで研究を推進する．
|
