2020 Fiscal Year Annual Research Report
確率モデルに基づくBlack-Box最適化フレームワークの理論解析とその応用
| Project/Area Number |
20J23664
|
|---|
| Research Institution | Yokohama National University |
|---|
Principal Investigator |
内田 絢斗 横浜国立大学, 環境情報学府, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2020-04-24 – 2023-03-31
|
| Keywords | Black-Box最適化 / 確率的探索アルゴリズム / 進化計算 / 理論解析 / 高次元最適化 / ハイパーパラメータ |
|---|
| Outline of Annual Research Achievements |
本研究では確率モデルに基づくBlack-Box最適化法に対して，効率的な最適化を実現する設定指針の導出やハイパーパラメータ調整の手間の削減のため，理論解析に基づく推奨値の導出やアルゴリズムの改良方法を検討している．2020年度は，確率モデルに基づくBlack-Box最適化法のフレームワークであるInformation Geometric Optimization (IGO)に対して，(1)ガウス分布および(2)カテゴリカル分布を適用して得られる最適化法について理論解析を行った．また(3)評価値に影響しない変数が設計変数に含まれる問題設定について効率的な探索を実現するためのIGOの改良方法を提案した．具体的な成果は下記の通りである．
(1) 本研究では，ガウス分布の共分散行列と目的関数のヘッセ行列の積の固有値が指定した範囲内の値をとるまでに必要な更新回数の調査を通じて，共分散適応の速度の導出を行っている．本年度は固有値が指定した範囲になるまでに必要な更新回数の下界について調査した．
(2) IGOにカテゴリカル分布を適用することで導出されるカテゴリ変数Black-Box最適化法について，ハイパーパラメータと問題の次元数およびカテゴリ数の依存関係を明らかにするため理論解析を行った．複数のベンチマーク問題におけるカテゴリ数と適切なIGOのハイパーパラメータの関係について解析を行い，適切なハイパーパラメータが満たすべき条件および最適化にかかる更新回数の上下界を導出した．
(3) 高次元の最適化問題では評価値に影響しない変数が設計変数に含まれている場合がある．このような問題設定に対して，更新方向の次元ごとの信号対ノイズ比に注目し，各次元の重要度を表現する係数を導入することで不要な次元方向への更新を抑える方法を提案した．本内容について査読付き国際会議PPSN2020にて発表を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では効率的なBlack-Box最適化を実現する設定指針やハイパーパラメータの推奨値の導出のため，IGOフレームワークのもとでのBlack-Box最適化法の理論解析やアルゴリズムの改良方法の検討を行っている．研究実績の概要に述べたように，本研究はどちらの点についても進展があり，国際会議での発表を行える水準まで研究を進めたことから，おおむね順調に進展していると判断した．
|
| Strategy for Future Research Activity |
今後は以下の方針に従い，それぞれのテーマについて研究を進展していく．
(1) 本年度までの研究により，連続変数およびカテゴリ変数のBlack-Box最適化法について，その最適化が成功するための条件および最適化の速度について理論解析を行った．今後はそれらの成果を統合し，IGOフレームワークのもとでの任意変数の最適化法の解析に発展させる．
(2) ガウス分布を用いた連続変数のBlack-Box最適化法は，バイナリ変数の最適化法に比べて内部のパラメータが多く，それぞれが異なる更新式をもつ．研究業績の概要で述べた係数の導入は一部の更新式にのみ適用可能であるため，今後はその他の更新式についても評価値に影響しない変数が設計変数に含まれている場合に有効な更新式を検討する．
|
| Remarks |
内田絢斗, 秋本洋平, 白川真一, 吉成望, 斉藤翔汰, 西田昂平, “高速、高性能、高ロバストなニューラルネットワーク構造の自動設計手法「ASNG-NAS」," 画像ラボ, Vol. 31, No. 4, pp. 28-34 (2020)
|
Research Products
(1 results)
