2021 Fiscal Year Annual Research Report
確率モデルに基づくBlack-Box最適化フレームワークの理論解析とその応用
| Project/Area Number |
20J23664
|
|---|
| Research Institution | Yokohama National University |
|---|
Principal Investigator |
内田 絢斗 横浜国立大学, 環境情報学府, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2020-04-24 – 2023-03-31
|
| Keywords | Black-Box最適化 / 進化戦略 / CMA-ES / 理論解析 / 高次元最適化 / ハイパーパラメータ |
|---|
| Outline of Annual Research Achievements |
2021年度は，確率モデルに基づくBlack-Box連続最適化法である進化戦略に対する以下の理論解析及びアルゴリズム改良を行った．
(1)様々なstep-size adaptationを適用した進化戦略の収束解析：進化戦略はガウス分布を用いた解生成と分布パラメータの更新を繰り返すBlack-Box連続最適化法である．ガウス分布の標準偏差の更新方法はstep-size adaptationと呼ばれ，様々な更新方法が提案されている．本研究ではtwo point step-size adaptation，median success ruleの2つの手法を(1+λ)-ESに適用した際に，線形収束するための条件について理論解析を行った．
(2)高次元最適化のためのCMA-ESのアルゴリズム改良：高次元最適化問題では目的関数値に影響を与えない設計変数が存在する場合があり，影響を与える次元のみを考慮して更新することが望ましい．そこで本研究では，目的関数値に影響を与える次元を更新方向の信号対ノイズ比により推定し，この推定に基づいてCMA-ESのハイパーパラメータを適応的に更新することで，高次元最適化問題におけるsep-CMA-ESのアルゴリズム改善を行った．
(3)目的関数の単調増加変換に不変なサロゲートモデルを用いた(1+1)-CMA-ESの提案：CMA-ESは目的関数や探索空間に対する特定の変換により性能が変わらないという不変性と呼ばれる性質をもつ．また目的関数を近似するサロゲートモデルを導入したCMA-ESが提案されているが，既存研究では不変性を損なうモデルが利用されている．そこで本研究では解のランキング情報に基づいて構成されるCMA-ESの不変性を損なわないサロゲートモデルを提案し，そのモデルを導入した(1+1)-CMA-ESを提案した．本内容については国内の学会で発表を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では効率的なBlack-Box最適化を実現する設定指針やハイパーパラメータの推奨値の導出・適応的な更新方法の開発のため，(1)複数のstep-size adaptationを用いた場合の進化戦略の理論解析や(2)高次元最適化問題におけるCMA-ESの改良方法の検討を行っている．研究実績の概要に述べたように本研究はどちらの点についても進展があり，査読付き学術雑誌への投稿を検討している．そのため，おおむね順調に進展していると判断した．
|
| Strategy for Future Research Activity |
今後は以下の方針に従い，それぞれのテーマについて研究を進展していく．
(1) 進化戦略において平均ベクトルや標準偏差の更新方法は探索性能に大きな影響を与えるため，様々更新方法が提案されている．昨年度までの研究では，複数の標準偏差の更新方法を用いた場合について進化戦略の収束解析を行った．これらの解析では平均ベクトルの更新に最良解を保存する更新であるエリート保存更新を用いた場合を解析対象としている．そこで本年度はこの結果を拡張し，非エリート保存更新を行う進化戦略についても収束性能の解析を行う．
(2) 高次元の最適化問題では評価値に影響しない変数が設計変数に含まれている場合がある．昨年度は次元ごとの更新方向の要素ごとの信号対ノイズ比に基づき，評価値に影響を与える次元を推定する手法を開発した．またこの推定に基づき，高性能な最適化法であるsep-CMA-ESのハイパーパラメータの適応的更新方法および標準偏差の更新方法の改良について検討した．しかしsep-CMA-ESは共分散行列を対角行列に限定しているため，探索空間の回転変換に対する不変性をもたない．本年度はこの不変性を獲得する更新式について検討し，この機構のCMA-ESへの組み込みを検討する．
(3) CMA-ESのハイパーパラメータは問題の次元数とサンプル数に依存する推奨設定が存在する．昨年度は上述した有効次元の推定方法に基づくハイパーパラメータの適応的更新機構を検討した．また更新方向の信号対ノイズ比に基づくサンプル数の適応的更新方法が提案されているため，これらの方法を組み合わせハイパーパラメータフリーなCMA-ESの開発を行う．
|
Research Products
(1 results)
