• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実績報告書

確率モデルに基づくBlack-Box最適化フレームワークの理論解析とその応用

研究課題

研究課題/領域番号 20J23664
研究機関横浜国立大学

研究代表者

内田 絢斗  横浜国立大学, 環境情報学府, 特別研究員(DC1)

研究期間 (年度) 2020-04-24 – 2023-03-31
キーワードBlack-Box最適化 / 確率的探索アルゴリズム / 進化計算 / 理論解析 / 高次元最適化 / ハイパーパラメータ
研究実績の概要

本研究では確率モデルに基づくBlack-Box最適化法に対して,効率的な最適化を実現する設定指針の導出やハイパーパラメータ調整の手間の削減のため,理論解析に基づく推奨値の導出やアルゴリズムの改良方法を検討している.2020年度は,確率モデルに基づくBlack-Box最適化法のフレームワークであるInformation Geometric Optimization (IGO)に対して,(1)ガウス分布および(2)カテゴリカル分布を適用して得られる最適化法について理論解析を行った.また(3)評価値に影響しない変数が設計変数に含まれる問題設定について効率的な探索を実現するためのIGOの改良方法を提案した.具体的な成果は下記の通りである.
(1) 本研究では,ガウス分布の共分散行列と目的関数のヘッセ行列の積の固有値が指定した範囲内の値をとるまでに必要な更新回数の調査を通じて,共分散適応の速度の導出を行っている.本年度は固有値が指定した範囲になるまでに必要な更新回数の下界について調査した.
(2) IGOにカテゴリカル分布を適用することで導出されるカテゴリ変数Black-Box最適化法について,ハイパーパラメータと問題の次元数およびカテゴリ数の依存関係を明らかにするため理論解析を行った.複数のベンチマーク問題におけるカテゴリ数と適切なIGOのハイパーパラメータの関係について解析を行い,適切なハイパーパラメータが満たすべき条件および最適化にかかる更新回数の上下界を導出した.
(3) 高次元の最適化問題では評価値に影響しない変数が設計変数に含まれている場合がある.このような問題設定に対して,更新方向の次元ごとの信号対ノイズ比に注目し,各次元の重要度を表現する係数を導入することで不要な次元方向への更新を抑える方法を提案した.本内容について査読付き国際会議PPSN2020にて発表を行った.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本研究では効率的なBlack-Box最適化を実現する設定指針やハイパーパラメータの推奨値の導出のため,IGOフレームワークのもとでのBlack-Box最適化法の理論解析やアルゴリズムの改良方法の検討を行っている.研究実績の概要に述べたように,本研究はどちらの点についても進展があり,国際会議での発表を行える水準まで研究を進めたことから,おおむね順調に進展していると判断した.

今後の研究の推進方策

今後は以下の方針に従い,それぞれのテーマについて研究を進展していく.
(1) 本年度までの研究により,連続変数およびカテゴリ変数のBlack-Box最適化法について,その最適化が成功するための条件および最適化の速度について理論解析を行った.今後はそれらの成果を統合し,IGOフレームワークのもとでの任意変数の最適化法の解析に発展させる.
(2) ガウス分布を用いた連続変数のBlack-Box最適化法は,バイナリ変数の最適化法に比べて内部のパラメータが多く,それぞれが異なる更新式をもつ.研究業績の概要で述べた係数の導入は一部の更新式にのみ適用可能であるため,今後はその他の更新式についても評価値に影響しない変数が設計変数に含まれている場合に有効な更新式を検討する.

備考

内田絢斗, 秋本洋平, 白川真一, 吉成望, 斉藤翔汰, 西田昂平, “高速、高性能、高ロバストなニューラルネットワーク構造の自動設計手法「ASNG-NAS」," 画像ラボ, Vol. 31, No. 4, pp. 28-34 (2020)

  • 研究成果

    (1件)

すべて 2020

すべて 学会発表 (1件) (うち国際学会 1件)

  • [学会発表] Adaptive Stochastic Natural Gradient Method for Optimizing Functions with Low Effective Dimensionality2020

    • 著者名/発表者名
      Teppei Yamaguchi, Kento Uchida and Shinichi Shirakawa
    • 学会等名
      The 16th International Conference on Parallel Problem Solving from Nature (PPSN)
    • 国際学会

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi