| 研究課題/領域番号 |
17H04676
|
|---|
| 研究機関 | 国立情報学研究所 |
|---|
研究代表者 |
吉田 悠一 国立情報学研究所, 情報学プリンシプル研究系, 准教授 (50636967)
|
|---|
| 研究期間 (年度) |
2017-04-01 – 2021-03-31
|
| キーワード | 定数時間アルゴリズム / 二次関数最小化 |
|---|
| 研究実績の概要 |
定数時間での二次関数最小化に取り組んだ。以前の研究成果[Hayashi and Yoshida, Advances in Neural Information Processing Systems 29 (NIPS 2016)]において、既に定数時間での二次関数最小化の研究は行なっているが、今回の研究では球面制約に対応することができる。これにより非線形最適化における重要なアルゴリズムである信頼領域アルゴリズムの一要素である信頼領域問題を高速に近似することができるようになる。解析はグラフ極限理論と新たに証明した行列のスペクトル分解を組み合わせることで行った。具体的には、任意のn x n行列Aは構造部分と擬似ランダム部分に次のように分けることができる：構造部分はpolylog(n)個のブロックからなる定数ブロック行列で、擬似ランダム部分はスペクトラルノルムが小さい。この分解はFriezeとKannan (FOCS'16)による既存の分解よりも良いエラー評価を与える。またこの分解を使うと行列の上位の特異値も近似することができる。この結果は[Levi and Yoshida, Approximation, Randomization, and Combinatorial Optimization. Algorithms and Techniques (APPROX/RANDOM 2018)]に採択されている。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
前の二次関数最小化に関する研究[Hayashi and Yoshida, Advances in Neural Information Processing Systems 29 (NIPS 2016)]において懸念であった事項を[Levi and Yoshida, Approximation, Randomization, and Combinatorial Optimization. Algorithms and Techniques (APPROX/RANDOM 2018)]において解決することに成功した。
|
| 今後の研究の推進方策 |
今後の目標はガウス過程による回帰に対する定数時間アルゴリズムである。ガウス過程による回帰はカーネルトリックにより非線形のモデルが表現でき、目的変数の分散が計算できるなどのメリットがあるが、その計算を厳密に行うには逆行列の計算が必要となり、データ点の個数が増えた時には非現実的な計算時間となる。既存の近似手法を用いれば計算時間の問題をある程度緩和することができるが、それでもまだ計算時間が大きかったり、誤差に理論保証が無いなどの問題がある。特にハイパ ーパラメータのチューニングが必要な場合には、何度も回帰を解いて結果を観察する必要があるため、より高速かつ高精度な手法が求められる。[Hayashi and Yoshida, Advances in Neural Information Processing Systems 29 (NIPS 2016)]では二次関数最小化に対する定数時間近似アルゴリズムを与えているが、この手法を拡張することによって、ガウス過程による回帰に対しても定数時間アルゴリズムが構築できると見込んでいる。
|
