2019 Fiscal Year Research-status Report
非凸性に基づく統計モデリングと収束保証付き推定アルゴリズム
| Project/Area Number |
19K24340
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
川島 孝行 東京工業大学, 情報理工学院, 助教 (60846210)
|
|---|
| Project Period (FY) |
2019-08-30 – 2021-03-31
|
| Keywords | 非凸最適化 / 統計モデリング / 収束保証 |
|---|
| Outline of Annual Research Achievements |
今年度は，データの高次元性に対処するための罰則付き損失関数の非凸最適化問題を対象とした最適化アルゴリズムの研究を行った．
研究1：機械学習において，広く使われる近接勾配法の収束性に注目した．収束性を担保するための既存の仮定を，より弱い仮定に置き換えた場合でも収束性を保てるかについて焦点をあてた．具体的には更新式に関して，より多くのモデリングを含みかつ理論的にも無理のない仮定をおくことで，収束性を担保することできた．また，この仮定のもとでも，既存の収束性に関する結果と同じ収束レートを達成することがわかった．論文化はこれからである．
研究2：スパースモデリングの代表例である LASSO は制約付き最適化問題の形で表される．これを解くためには，ラグランジュ緩和問題の形に落とし込む方法が一般的である．これに対して，制約付き最適化問題を緩和せずに解く方法も存在し，射影勾配法はその代表例である．LASSO を対象とした場合には，単体への射影のアルゴリズムを使うことで，射影勾配法が適用可能となる．ここで，統計的な面からは，LASSO よりも Adaptive LASSO や SCAD，MCP などの別な制約に基づくスパースモデリングのほうが良いことが知られている．そこで，射影勾配法を，LASSO の拡張である，Adaptive LASSO や SCAD，MCP などでも適用可能にするために，単体への射影のアルゴリズムの拡張を行った．また，この拡張アルゴリズムの収束性についても証明を行った．論文化はこれからである．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本年度，進める予定であった既存の推定アルゴリズムの収束性に関する研究に時間がかかっている．非凸な統計モデリングの中でも，スパースモデリングを対象とした場合の，新たな推定アルゴリズムに関しての研究は結果が出ており，あとは論文にまとめるのみである．
|
| Strategy for Future Research Activity |
今後は，既に得られている結果を論文化することを第一に行いたい．また，本研究計画の一番の目的である，非凸最適化問題に対する既存の推定アルゴリズムの収束性の拡張を進めたい．
|
| Causes of Carryover |
年度末に参加予定だった学会が全てキャンセルになった．また，PC の購入も納品の時期を考えると次年度に購入したほうが良いだろうと考えた．
次年度は，PC および消耗品と学会への参加・渡航費に使用する．
|
