2016 Fiscal Year Research-status Report
| Project/Area Number |
16K16131
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
坂田 綾香 統計数理研究所, モデリング研究系, 助教 (80733071)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 情報量規準 / スパース正則化 / レプリカ法 |
|---|
| Outline of Annual Research Achievements |
平成28年度は、統計的モデリングの良し悪しを判断する規準の一つである情報量規準についての研究を行った。まず、先行研究において提案されていた一般化自由度と呼ばれる量を評価することで、説明変数をランダム行列とした場合の情報量規準を様々なスパース正則化に対して導出した。更にこの結果が、一般の説明変数においても成り立つのかどうかを、確率伝搬法を用いて検証した。その結果、ある種の説明変数においても、ランダム行列において成り立つ結果が成立していることが明らかとなった。これはスパース正則化の種類に依存しない結果である。この結果は、スパース正則化における情報量規準についての一般的な理解につながると考えられる。また解析的な導出が困難な場合でも、確率伝搬法による情報量規準の評価が可能であることを示した。特に、非凸スパース正則化についても、レプリカ対称性と呼ばれる性質が現れる領域では、確率伝搬法が有効なアルゴリズムであることを示した。以上の結果を論文として出版した。
この研究の発展として、情報量規準の分布についての解析を開始した。平成29年度も引き続き、この研究に取り組む予定である。
また、スパース正則化を用いた行列分解問題において、確率伝搬法を用いた解法および典型性能評価についてまとめた。この研究では、行列分解問題に対して統計力学的な解析を行い、行列分解が成功するパラメータ領域を特定した。既存の発見的アルゴリズムの構成に対し、本研究では物理的描像に基づいたアルゴリズムを提案しており、理想的な状況では高い性能を示すことを明らかにした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画では、平成28年度には以下の研究を行う予定であった。
(i) L1正則化とL0正則化を繋ぐ非凸スパース正則化においてAT安定性条件を導出し、AT安定性が存在するパラメータ領域を特定する。
(ii) AT安定性が存在するパラメータ領域で、非凸スパース正則化の推定性能の理論予測を与え、L1正則化と性能を比較する。
(i)については、SCAD正則化と呼ばれるスパース正則化についてAT安定性条件を導出することに成功した。更に確率伝搬法の導出も行い、論文にまとめた。また(ii)についても研究は順調に進展しており、スパース正則化付き線形回帰および圧縮センシングにおいてL1正則化との比較を行っている。この内容については、国内外の共同研究者とともに研究を更に発展させる予定である。
以上の点から、平成28年度の本研究はおおむね順調に進展していると言える。
|
| Strategy for Future Research Activity |
平成29年度は、非凸スパース正則化を含むスパース正則化付きの推定問題において、情報量規準の揺らぎを評価することを目標とする。情報量規準は期待対数尤度の不偏推定量として定義されるものであり、訓練データに応じてその値は揺らぐ。したがって、与えられるデータによっては異なるモデルが選択されるなどの問題点がある。よって実用上の観点から、情報量規準の揺らぎを評価しておくことは重要である。ランダム系の統計力学における手法を用いて、この揺らぎを定量的に評価することが本年度の目標である。
また非凸スパース正則化の実用化に向けて、実際の問題で非凸スパース正則化の有用性を確かめることも目指す。具体的には、線形回帰や圧縮センシングを扱う。これらの問題についての知見を持つ国内外の共同研究者と協力し、非凸スパース正則化の統計力学的な解析を達成することを目指す。
|
| Causes of Carryover |
次年度使用額が発生した理由は以下の2点である。
(1) 論文出版時期において想定より円高で推移したため、論文出版費(ユーロだて)が抑えられた
(2) 家族が急病で入院し、その影響で出張が1件キャンセルになった
|
| Expenditure Plan for Carryover Budget |
本年度は海外から共同研究者を招聘し、共同研究を遂行する予定である。次年度使用額はその費用に充てる。
|
