2017 Fiscal Year Annual Research Report
半解析リサンプリング法の開発と整備：信頼性評価への統計力学的アプローチ
| Project/Area Number |
17H00764
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
樺島 祥介 東京工業大学, 情報理工学院, 教授 (80260652)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小渕 智之 東京工業大学, 情報理工学院, 助教 (40588448)
|
|---|
| Project Period (FY) |
2017-04-01 – 2022-03-31
|
| Keywords | リサンプリング / 交差検証法 / ブートストラップ法 / レプリカ法 / 平均場近似 |
|---|
| Outline of Annual Research Achievements |
以下の成果を得た．
【課題１】交差検証法：全変動正則化を付加した線形回帰問題に対して，交差検証を実際に行うことなく，半解析的に１つ抜き交差検証誤差を求める公式を導いた．また，その有効性を画像の超解像復元によって確かめた．これらの成果はPLoS ONE 12(12): e0188012にて発表された．加えて，L1正則化を付加した一般化線形モデルのパラメータ推定に対して，交差検証を実際に行うことなく，半解析的に１つ抜き検証誤差を求める方法を検討し，公式化の目処を立てた．
【課題２】ブートストラップ法：線形回帰モデルを具体例として，入出力対に関するリサンプリングを行うpair bootstrapping の半解析的評価法を検討した．評価法はリサンプリングを統計力学における配位平均に対応させ，リサンプリングによる平均をレプリカ法により評価する，というアイデアにもとづいている．ただし，厳密な評価は計算量的困難を伴う．この困難を回避するため，今回は確率伝搬法をもちいた．公式の骨格は得られており，現在，論文化に向けて準備中である．加えて，ボルツマンマシンをもちいた逆問題解析に関して，１次統計量を保存したサロゲートデータにもとづき統計的に有意な結合の強さを評価する方法を開発した．さらに，同様の手法を一般化線形モデルに拡張し，データ数が十分大きな状況でリサンプリングを実際に行うことなく，解析的に有意な結合を判定する方法を開発した．
【課題３】stability selection 法：stability selection を半解析的に実施するための課題の洗い出しを行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成２９年度の研究実施計画は以下の通りであった．
【課題１】交差検証法：汎化能力の最大化を目的とする交差検証誤差の最小化はハイパーパラメータの汎用的な決定指針を与えるが，計算量的負荷が高い．予備的研究において，我々は線形回帰問題に対して，L1ノルムを正則に用いるLASSO推定に対して，１つ抜き交差検証誤差を交差検証することなしに近似的に評価する公式を導出した．この公式を全変動正則化や一般化線形モデルなどに拡張する．
【課題２】ブートストラップ法：線形回帰モデルに対し，平均場近似の考え方にもとづいて，推定値のゆらぎに関するブートストラップ評価値をブートストラップを実施することなしに評価する方法を開発する．また，ボルツマンマシンを用いた逆問題解析に関して，１次統計量を保存したサロゲートデータにもとづき統計的に有意な結合の強さを評価する方法を検討する．
【課題３】stability selection法：スパース線形回帰に関して，stability selection 法を平均場近似にもとづき半解析的に行うために必要な課題を洗い出す．
これらについて，ほぼ目標に沿った成果が得られている．なお，【課題３】を検討したところ，stability selection 法はブートストラップ法の特殊な形態であることが判明した．そのため，成果の論文化に際しては，【課題２】，【課題３】の成果をまとめて１つの論文とする予定である．
|
| Strategy for Future Research Activity |
以下の方策にしたがって研究を推進する．
【課題１】交差検証法：一般化線形モデルに対するL1正則化の交差検証誤差を半解析的に求める方法について，論文化を進める．また，K分割交差検証法への一般化を図る．
【課題２】ブートストラップ法：線形回帰モデルを具体例として，入出力対に関するリサンプリングを行うpair bootstrapping の半解析的評価に関して論文化を進める．
【課題３】stability selection：線形回帰モデルを具体例として，stability selection を半解析的に実施するための公式を導く．得られた公式は【課題２】に示した論文の中に含める．
|
