2020 Fiscal Year Research-status Report
| Project/Area Number |
20K14986
|
|---|
| Research Institution | Chuo University |
|---|
Principal Investigator |
中山 舜民 中央大学, 理工学部, 助教 (90847196)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 非線形最適化 / 無制約最適化 / スパース最適化 / 近接勾配法 / 準ニュートン法 / 近接DCA |
|---|
| Outline of Annual Research Achievements |
機械学習などで扱われる非線形最適化問題に対する数値解法について以下の研究を行った。研究成果の一部は日本OR学会、研究集会、国際会議等で発表した。また、研究成果が学術論文誌に掲載された。
1．機械学習などで扱われる関数は微分可能な凸関数と微分不可な凸関数の和で表されることが多い。本研究では、そうした目的関数を最小化するためのニュートン型近接勾配法に注目し、メモリーレス準ニュートン法に基づいたニュートン型近接勾配法を提案した。その内部反復の重み付き近接写像の計算を正確に行うことは困難であるため、非厳密に重み付き近接写像を計算することを考え、その場合の大域的収束性と局所的収束性を数学的に示した。さらに、内部反復の重み付き近接写像の計算を工夫することで、提案手法の改善をした。
2.スパース最適化問題の枠組みの一つとして、微分不可能な点を含むDC関数に対して、近接勾配法系統の方法は停留点に収束することが知られている。本研究では停留点よりも強い最適性条件として知られている方向停留点に近接勾配法が収束することを示した。数値実験を通じて、近接勾配法とは別のアプローチの最適化手法である近接DCAと近接勾配法の比較を行って、方向停留点に収束する近接勾配法系統の方法が近接DCAより目的関数値の小さい解に収束することを示した。
3.スパース最適化のモデルの一つとしてグループ刈り込みL1ノルムを用いたスプライン回帰を考えた。既存のグループ正則化を用いたスプライン回帰と比較して、グループ刈り込みL1ノルムを用いたスプライン回帰の方がよりスパースな問題との相性が良いことがわかった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
機械学習などで扱われる非線形最適化問題に対して新しい数値解法を提案し、その収束性についてきちんと解析するとともに、数値実験を実施することによって、提案手法の有効性、実用性についても検証している。また、代表的な手法を用いて最適化問題を解いて得られる解の質について、数学的に評価することができた。
|
| Strategy for Future Research Activity |
無制約最適化問題および制約条件付き最適化問題を解くための数値解法について、さらに新しい観点から最適化法を提案していくとともに、数学的な立場から提案手法の収束性についても解析していく予定である。関連分野の研究動向などを把握するために国内外の研究集会・学会研究発表会・シンポジウムに積極的に参加して、他大学・他研究機関の研究者と交流し、研究打ち合わせを行って意見交換をしていく予定である。2021年度は以下のような研究計画を考えている。
1.メモリーレス準ニュートン法に基づいた非厳密ニュートン型近接勾配法における内部反復を改良した。この内部反復の収束性の解析を行う。さらに、提案手法をDC関数に適用できるように手法を拡張する。
2.スパース最適化のモデルとして、グループ刈り込みL1ノルムに関する研究を行う。数値実験を通じて、既存のグループ正則化関数との比較を行い、グループ刈り込みL1ノルムの有用性を検証する。
3.今までの研究とは別アプローチとして、近年注目を集めいている多様体上の最適化問題を扱う。制約を多様体上に埋め込み、多様体上では無制約最適化問題として扱うことから、機械学習で現れる問題を既存のアプローチより効率的に解けることが期待できる。そこで、我々が今まで行ってきた準ニュートン法の研究を多様体上の最適化問題に拡張する。
|
| Causes of Carryover |
次年度使用額が生じた理由：新型コロナウィルスの感染拡大に伴い、参加予定であった国際会議が中止になったため、旅費と参加費の分だけ予定より出費が少なかった。
使用計画：多くの国際会議がオンライン開催になったため、予定より多くの会議に参加が可能になったのでその参加費にあてる。また、研究に必要な書籍や計算機環境の増築などに使用する。
|
