2020 Fiscal Year Annual Research Report
ブラックボックス最適化のための不変性を考慮した汎用制約対処法の開発と解析
| Project/Area Number |
19J21892
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
阪本 直気 筑波大学, システム情報工学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2019-04-25 – 2022-03-31
|
| Keywords | 進化計算 / 制約対処法 / 制約付きブラックボックス最適化 / 深層生成モデル |
|---|
| Outline of Annual Research Achievements |
本研究では最適化法の特性を活かしつつ，制約の特徴を考慮することで複数種類の制約を同時に扱うことのできる汎用制約対処法の開発に取り組んでいる.
2020年度は，2019年度に開発した，制約を満たす実行可能領域が非線形のみならず離散的になっている従来法では制約対処が困難な明示制約を想定した制約対処フレームワークの (1) 解析と (2) 性能向上に取り組んだ. 具体的な成果は以下のとおりである.
(1) 本手法は，制約のない矩形領域から実行可能領域への ``Decoder'' と呼ばれる写像を用いて制約付き問題を制約なし問題へと変換する手法 [Koziel 99] に着想を得て，これをニューラルネットワークモデル (NNモデル) で実現している. これにより最適化の難易度を大きく下げることに成功したが，NNモデルの訓練の困難さから Decoder は離散実行可能領域の一部しか学習できないという課題が残されていた. この課題に対して，NN モデルの訓練に使用する損失関数の訓練過程における勾配を解析することで，学習が期待通りに進まない原因を明らかにした.
(2) 前述した課題以外にも，写像後の点が実行可能領域の端に寄るという課題も存在していた. この原因は損失関数にあったが，損失関数を恒等写像と制約違反量の総和に変更することで解決した. 加えて，(1) で原因を明らかにした一部の領域しか学習できないという課題に対しては，NN モデルの新しい訓練方法を開発することで解決した. 具体的には，小さな NN モデルから訓練を始め，訓練過程でそれが巨大なモデルへと増大する訓練方法を開発することで NN の訓練が容易になり，2019年度の手法では実行可能領域全体の約5割しか学習できていないタスクにおいて全ての領域の学習を達成した.
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初の計画では，(1) 2019年度に開発した NN (ニューラルネットワーク) モデルを用いた制約対処フレ ームワークの解析と改善を行った後に， (2) 非明示制約対処法の開発に着手する予定であった. しかし，(1) の解析が難航し，(2) については未着手となっていることからやや遅れていると判断した.
(1) の制約対処フレームワークは制約付き連続最小化 f: X -> R において，凸集合 Z から不連続な実行可能解集合 X への写像 G を NNモデルを用いて予め学習しておき，これを用いて最適化問題を凸集合上の最適化 f(G(z)), z ∈ Z, へと変換するものであるが，NNモデルの出力が離散実行可能領域の一部に偏るという課題があった. NNモデル (写像 G) が最適化問題の最適解を内包する実行可能領域を学習していないと最適化が失敗するという性質上，この課題の解決は最重要事項であったため，ここに多くの時間を費やした. NNモデルの訓練に使用する損失関数の訓練過程における勾配を解析することで，学習が期待通りに進まない原因を明らかにした. この結果を踏まえて，NNモデルの新しい訓練方法を開発し，前述の課題を解決した. これによりNNモデルの訓練が容易になり，2019年度の手法では実行可能領域全体の約5割しか学習できていないタスクにおいて全ての領域の学習を達成した.
|
| Strategy for Future Research Activity |
2021年度はまずはじめに，2020年度に開発したNNモデルの新しい訓練方法の解析と向上に取り組む.
これまでの研究では提案手法を使うことで，従来手法では最適化困難な制約付き問題の難易度が大幅に下がる可能性を示してきた．
しかし，それは最適化したい目的関数が単純なテスト問題における評価であった．
実世界で利用しやすいアルゴリズムへとすべく，実問題を模した複雑なタスクでの実験的評価を重ね，アルゴリズムの解析および発展に取り組む．
次いで，明示制約のために開発している前述の制約対処フレームワークを応用し，非明示制約も同時に対処可能な方法を検討する. 得られた成果は随時論文にまとめ，成果の公表に努める.
|
