2019 Fiscal Year Research-status Report
Statistical mechanics and sparse modeling approach to large-scale inverse problems
| Project/Area Number |
18K11463
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
小渕 智之 京都大学, 情報学研究科, 准教授 (40588448)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 情報統計力学 / スパースモデリング / 統計的逆問題 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
本研究は、スパースモデリング(SpM)と情報統計力学の技術を拡張することで、変数選択・パラメータ推定問題のより深い数理的理解と実用的数値解法を得ることおよび、開発手法を生命・経済などの実データ解析へ応用し、それが使える枠組みであることを実証することが目標である。
本年度は、まず、スパース線形回帰に対する非凸正則化を用いた場合の性能解析と近似的交差検証公式の開発を行った。これにより、ハイパーパラメータ推定を極めて効率よく行う手法を導き、それと同時にその手法の破綻が非凸性によって局所安定解が無数に現れる現象と直接対応していることを示した。天文データにこれを適用することで、L1正則化に比べてよりスパースな解を現実的な時間で得ることが出来ることを示した。またそれとは別に、ボルツマンマシンの階層ベイズ版におけるハイパーパラメータ選択を経験ベイズの枠組みの範囲で極めて軽量に行う手法を開発した。これらの結果は両方とも査読付きジャーナルに採択されている。
また昨年度に開発したモンテカルロ法を用いた変数選択アルゴリズムであるが、アルゴリズム自体はすでに開発が完了したが、より疎な変数選択を行うことの出来る基準を追加で開発することでアルゴリズムの利便性はさらに向上することに気が付き、その基準の理論的な開発を進めている。そのため、この結果の論文化は遅れている。
そのほか、二値変数間の関係性（ネットワーク）を抽出する手法に関して、ネットワークの推定が可能な限界を明らかにする理論を構築し、これも論文として査読付きジャーナルに投稿し掲載が決まっている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
昨年度までに申請書類に記載した「課題１」は完了している。上述のネットワーク推定が残りの課題である「課題２・３」の一部に対応し、それらについても一定の成果がここまでに得られていると考える。さらに非凸正則化や階層ベイズボルツマンマシンにおけるハイパーパラメータ推定の枠組みを開発するなど、研究開始時には想定していなかったが必要な研究が進んでいる。本年度中に論文化する予定であったモンテカルロ法を用いた変数選択アルゴリズムの発表が遅れているが、これもさらなる理論進展を見せているがゆえであり、またそれ以外の点については予定以上に進んでいることを考えると、おおむね順調に進展していると考えるのが妥当である
|
| Strategy for Future Research Activity |
課題２に関連して、ネットワーク推定研究の重要性に気が付きガウス型を超えたより一般の非線形性を持ったモデルを積極的に取り扱う旨を、昨年度の時点で宣言したが、今年度はその方向性にそった研究をいくつか行うことが出来た。現在、非線形性のみならず、信号の生成モデルと推定モデルに齟齬（モデルミスマッチ）がある場合の理論解析を行うことを考えている。これにより、より現実的な状況における理論知見を得ることが出来、さらに有用なアルゴリズムの開発に結びつけることもできると考えている。
また課題３については、昨年度までに行ったベクトル自己回帰モデルに関する技術調査・論点整理を元に、免疫系におけるタンパク質の時系列データにそれを適用して情報量を抽出する試みを行っている。ある程度解釈可能で今後の実験計画に活かせると思われる結果がでている。今後はこれの理論解析を行う予定である。
今年度は以上の点を追求する予定である。
|
