|
機械学習で現れるスパース最適化問題を解くためのニュートン型近接勾配法に関する研究を行なった。この方法は目的関数が微分可能な関数と微分不可な関数の和で表される最適化問題に対するアルゴリズムである。本課題の最終年度では以下の課題に取り組んだ。
1. ニュートン型近接勾配法において、重み付き近接写像と呼ばれる部分問題の計算効率の悪さが課題である。対角行列を重みとした近接写像が閉形式で計算ができることに注目して、ヘッセ行列の対角成分だけを取り入れた近接対角ニュートン法を開発した。さらに近接対角ニュートン法にNesterovの加速法を加えたアルゴリズムの開発及び数学的な理論解析を行った。実際に、近接対角ニュートン法では、一般的なニュートン型近接勾配法とは異なり、近接写像の計算が容易なことから、数値実験を通じて、アルゴリズム全体の計算効率改善できることを示した。
2. 汎化性能の高い機械学習モデルの中には非凸なスパース最適化問題がある。中でもDC関数である問題に対して、新しい非厳密ニュートン型近接勾配法を提案した。提案手法の大域的収束性を示し、既存のDCアルゴリズムよりも性能が良いことを示した。
3. スパース最適化問題における微分可能な関数が非線形最小2乗問題という特殊な構造を持った問題を対象としたアルゴリズムを開発した。非線形最小2乗問題はデータの当てはめなど、複雑で難しい問題ではあるが、汎用性の高いという利点がある。本研究では非線形最小2乗問題特有の構造を利用したニュートン型近接勾配法を開発した。
近接勾配法は微分可能な関数の１回微分の情報しか使用しない最急降下法に基づいた方法であるため、元問題の解を得るために多くの反復回数を要する。本研究では、２回微分の情報を使用したニュートン型近接勾配法に注目して、新しいアルゴリズムを開発している。
|
