Development of a Fast and Accurate Computational Method through Learning-based Iterative Alternating Optimization

2023 Fiscal Year Research-status Report

• Project/Area Number: 23K16953
• Research Institution: Hitotsubashi University
• Principal Investigator: 有竹 俊光 一橋大学, 社会科学高等研究院, 講師 (20934368)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Keywords: メタ最適化 / モデルベース深層学習

Outline of Annual Research Achievements

本研究は、unrollingという方法に基づいた交互最適化法の高速化と高精度化を目的としている。Unrollingは、最適化における反復計算をパラメトリックモデルとして展開し、最適化問題の最適解からモデルパラメータを学習することで、より少ない計算でより良い最適解を求めるモデルを獲得する方法である。従来のunrollingは凸最適解を対象としてきたが、本研究では、解が単一に定まらない非線形な最適化問題に焦点を当て、特に相互依存する変数を交互に最適化する交互最適化をunrollingの対象としている。交互最適化を学習するためには、交互最適化のunrollingに用いるモデルの定義と、展開したモデルの学習方法の確立という二つの課題の解決が必要である。

2023年度は、基礎検討として先行研究の文献調査及び追実験を行った。具体的には非負値行列因子分解（NMF）のunrollingを行った文献に注目し、この先行研究で利用されているハイパースペクトルイメージングデータの作成及び深層ニューラルネットワークモデルの学習を行った。その結果、多層からなるモデル全体を同時に学習して獲得されたモデルでは、ノイズが無い単純な場合でもNMFの問題の誤差を十分に小さくする最適解を求めることが困難であることが実験的に明らかになった。

そこで、先行研究とは異なるモデルの学習法として、相互依存する変数の最適化を真の最適解近傍において学習する方法の検討に着手した。この方法では、真の解近傍における最適化の反復計算一回の更新前後の最適解の変化に注目した学習方法であり、従来法では学習が困難であった交互最適化の学習を目指している。2023年度では、この方法の開発に向けて、学習データの作成、および最適化方法の検討を行った。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

先行研究のunrolling手法の再現及び検証に当初の計画よりも時間を要した。
このため、先行研究の問題解決の方向性の一つである、真の最適解近傍での最適化に注目した方法の検証開始が遅れており、未だこの方法の確立、および十分な検証には至っておらず、現在の進捗がやや遅れている。

Strategy for Future Research Activity

先行研究の実験結果によると、多層ニューラルネットワーク全体を同時に学習することによって獲得されたモデルでは、交互最適化問題の最適解を求めることが困難であることが示されている。したがって、先行研究の方法とは異なり、多層モデルを用いない方法、または、モデル全体を同時に学習しない新たなアプローチの確立が必要である。

今後の研究方針としては、まず現在取り組んでいる真の最適解近傍での交互最適化学習法により、真の最適解に近い解を求められるモデルの学習法を確立する。その後、最適化の初期値が真の最適解から離れた場合のモデルの挙動を調査し、このような状況でも初期値に近い局所最適解を効率的に推定可能なモデルの学習を目指し、unrolling手法のさらなる高度化を行う予定である。

Causes of Carryover

物品が想定よりも安価に購入できたため、次年度使用額が生じた。次年度の新たな物品購入または外部発表に要する費用に充てることでこれを使用する。