2017 Fiscal Year Research-status Report
| Project/Area Number |
16K16131
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
坂田 綾香 統計数理研究所, モデリング研究系, 助教 (80733071)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 非凸スパース正則化 / 確率伝搬法 / レプリカ法 / 相転移 |
|---|
| Outline of Annual Research Achievements |
平成２９年度は、非凸スパース正則化であるSCADとMCPを用いてスパース推定を行う際に有用な、確率伝搬法によるアルゴリズムを開発した。解析の結果、確率伝搬法が収束しなくなるパラメータ領域が存在することが発見された。更に、導出された確率伝搬法の収束条件は、レプリカ法により導出される相転移点と一致することを示した。また既存のアルゴリズムであるcoordinate descent法と比較した結果、確率伝搬法の収束する範囲内でcoordinate descentも大域的安定解に収束することがわかった。coordinate descentについては、先行研究で収束のための十分条件が導出されていたが、本研究で得られた収束条件の方がよりタイトであり、システムサイズ無限大の極限で数値実験と一致している。以上の結果から、精度良い収束条件を持った、効率的なアルゴリズムが非凸スパース正則化に対して提案できた。
また、非凸スパース正則化の実用において問題となるのは、正則化パラメータの選び方である。我々は確率伝搬法を用いて、予測誤差の推定量を構成する方法を提案した。一般に、AICは正則化が存在するときは予測誤差の不偏推定量とはならないため、別の推定量を構成する必要がある。我々はMallows' Cpから出発し、一般化自由度と呼ばれる量の推定量を確率伝搬法の固定点から導出する方法を開発した。この確率伝搬法に基づく推定量は、説明変数とデータの各成分が独立にガウス分布に従う場合は、不偏性を持つことが数学的に示される。しかし一般のデータでは必ずしも成り立たないため、我々は説明変数の相関を考慮した補正方法を提案した。これにより、確率伝搬法を用いてAICより良い予測誤差の推定量を構成することに成功した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
研究実績の概要に示した項目は、最終研究年度までの完成が目標とされていた。しかし平成２９年度に研究成果がまとまり、論文を投稿するところまで達成している。したがって、現在までの研究進捗状況は、当初の計画以上に進展していると考えている。
また、平成２９年度までの研究成果は物理、機械学習の学会において発表しており、中でも機械学習の学会(IBIS2017)において優秀プレゼンテーション賞を受賞した。このことも、本研究の進捗状況が順調であることを意味していると考えている。
本研究課題申請の時点では想定していなかった研究の発展が見られたため、以下の「今後の研究の推進方策」に示す通り、非凸スパース正則化を用いた圧縮センシングの研究を含めて本研究をまとめたいと考える。
|
| Strategy for Future Research Activity |
本年度は、非凸スパース正則化について以下の2点の研究を行う。
1つ目は、交差検証誤差の近似表現の導出である。交差検証法はモデル選択において広く用いられる手法であるが、計算量の多さが問題となっている。近年、L1正則化について、交差検証誤差の効率的な導出方法が提案されている。そこで本研究では非凸スパース正則化においても同様の議論が可能であるかを検証し、非凸スパース正則化におけるモデル選択を容易に行うためのツールを開発する。
2つ目は、非凸スパース正則化を用いた圧縮センシングの研究である。圧縮センシングとは、少ない観測量から高次元データを復元するための推定方法であるが、一般にL1正則化が広く用いられている。しかし私自身のこれまでの研究により、一部の問題群ではL1正則化よりも非凸スパース正則化の方が良い推定結果を与えることが示されている。そこで圧縮センシングについても非凸スパース正則化を提案し、その性能を評価することを目標とする。
|
| Causes of Carryover |
例年参加している学会２件が東京都内での開催となり、それに伴う旅費がかからなかったため次年度使用額が生じた。本年度は研究最終年度となるため、論文出版費および英文構成費として使用の予定である。
|
