2011 Fiscal Year Annual Research Report
E定値行列補完を用いた準ニュートン法の実用化に関する研究
| Project/Area Number |
20560056
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
山下 信雄 京都大学, 情報学研究科, 准教授 (30293898)
|
|---|
| Keywords | 数理計画問題 / 大規模問題 / 準ニュートン法 / 正則化ニュートン法 / 疎性 / 正定値化 |
|---|
| Research Abstract |
本年度は,正定値行列補完を用いた準ニュートン法(以下,MCQN法)の実用化および応用に関連した以下の研究を実施した.
まず,前年度に提案したL-BFGS法とMCQN法とを組み合わせた手法を実装し,いろいろなテスト問題おいてその振る舞いを調べ,MCQN法の問題点を明らかにした.これは,疎性の割合が高い問題においては,近似ヘッセ行列の変更量がL-BFGS法に比べて著しく少なくなることがありうることである.そのため,近似ヘッセ行列が真のヘッセ行列とかけ離れている場合,L-BFGS法に比べて,収束が遅くなることある.この欠点を克服するため,初期段階や点列の更新がうまくいかない場合,強制的にL-BFGS法を適用するように改良した.その改良によって,純粋なL-BFGS法に比べて,1.5倍ほど速く,解が求めることができるようになった.
一方,理論的な成果として,上記の手法の計算量解析を行った.具体的には,正則性の仮定をおかなくても,最急降下法やニュートン法と同様の劣1次収束をすること示した.この解析結果から,凸計画問題においては,最急降下法と同様にMCQN法でも高速化が可能であることがわかった.これは,年度当初の研究計画では考慮していなかった知見である.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
正定値行列補完を用いた準ニュートン(MCQN)法は,ある種の問題に対しては,既存の手法よりも収束が遅くなることがあることが判明した.そのため,当初の研究目的の進行,特に公開可能なプログラムコードの作成に関しては遅れを生じている.一方,MCQN法や準ニュートン法を他の手法と組み合わせて,高速かつ実装が容易な準ニュートン法の開発した.これらは,年度当初の指針とは異なるが,実際に安定かつ速いアルゴリズムである.また,MCQN法の新たな理論的な性質を解明した.この性質は年度当初には考慮されていなかったものである.その性質を利用した改良を行えば,アルゴリズムの高速化が期待できる.
|
| Strategy for Future Research Activity |
引き続き,正定値行列補完を用いた準ニュートン法の実用化に向けた研究を行う.特に,既存手法と比べ優位な収束性をもつための問題構造を解明し,その問題に特化した実用プログラムの作成を行う.一方,よりひろいクラスの問題に対して有効となるように,他の手法と組み合わせた手法の性質を,理論的,実験的に解明する.さらに,金融や機械学習など具体的な応用問題に適用する.また,可能であれば,そのプログラムコードを利用しやすい形に修正し,Web上での公開を目指す.
|
