2016 Fiscal Year Annual Research Report
大規模なスパースモデリングへの統計力学的アプローチ
| Project Area | Initiative for High-Dimensional Data-Driven Science through Deepening of Sparse Modeling |
|---|
| Project/Area Number |
25120013
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
樺島 祥介 東京工業大学, 情報理工学院, 教授 (80260652)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
竹田 晃人 茨城大学, 工学部, 准教授 (70397040)
渡邊 澄夫 東京工業大学, 情報理工学院, 教授 (80273118)
|
|---|
| Project Period (FY) |
2013-06-28 – 2018-03-31
|
| Keywords | 圧縮センシング / 潜在変数モデリング / モデル選択 / 平均場近似 / 統計力学 / 情報量基準 / 交差検証法 / 行列分解 |
|---|
| Outline of Annual Research Achievements |
以下の研究を実施した．
①圧縮センシング：圧縮センシングを含むスパースな線形回帰問題に対して，平均場近似の考え方にもとづき，交差検証を実施することなしに交差検証誤差を近似的に評価する方法を与えた．また，計算能力の低いデバイスをもちいた圧縮センシングの可能性を探るためにオンライン形式による圧縮センシングについて人工モデルにもとづいた解析を行った．
②潜在変数モデリング：i) 行列分解問題に関し，分解された行列の一方の事前分布が疎な場合において，変分ベイズ法に基づき近似の下での分解行列の解析的表現を書き下し，その妥当性を数値実験で確認した．ii) 深層学習の問題で，学習過程での情報刈り込み(情報のスパース化)が学習に有効であることを次の2つの点で確認した．(1)ボルツマンマシン学習の一手法であるPersistent Contrastive Divergence法でのL1正則化項の導入，(2)囲碁の着手予測におけるDropConnectの導入．
③モデル選択：i) 非負値行列分解は行列で与えられた情報をスパースな行列の積で表現する方法であるが，そのベイズ推測における周辺尤度と汎化誤差の挙動を導出した．非負値行列の分解は一般の行列分解よりも大きな汎化誤差を持つ場合があることを示した．汎化誤差の解明により適切なモデル選択を行なうための基盤が得られた．ii) スパース正則化付き推定など，現代的な推定の枠組みに対して適用可能なモデル選択規準の解析的導出が求められているが，複雑な推定方法に対しては最尤法を前提とした従来の導出方法を直接適用することはできない．そこで統計力学的な手法を用いて，スパース正則化に対する情報量規準の導出を行った．これにより，様々なスパース正則化に対して適用可能な情報量規準の一般形が求められ，またその物理的な解釈を得ることができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本計画研究は統計力学の概念／技術を用いて具体的な事例を数多く「解く」ことにより，「システマティック」かつ「実践できる」多変量解析の方法論の構築を目指している．そのため，多数の課題に同時並行的に取り組み知見を蓄積する方策を取っているが，昨年度までに設定した７つの課題に加えて，今年度は「線形回帰モデルに関する近似的交差検証誤差評価公式」，「変分ベイズ法を用いた行列分解法の開発」，「非負値行列分解に関する周辺尤度，汎化誤差挙動の解析」，「スパース正則化に関する情報量基準の一般形の導出」といった多様な課題に関して成果が得られ研究の裾野が広がったため．
|
| Strategy for Future Research Activity |
本研究計画は，スパース原理にもとづく様々な多変量解析の方法についてそれらの数理的性質を解明することを目的としているが，領域内の実験，観測研究者との意見交換により，当初計画と比較してモデル選択や交差検証といった得られた結果の信頼性評価に力点をシフトさせてきた．最終年度もこの方針で進める．また，若手育成も意識し，大学院生を含む国内外の若手研究者を招聘し，課題の一部を共同研究として実施する等の活動も実施したい．
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Book] 確率的グラフィカルモデル2016
Author(s)
黒木学, 清水昌平, 湊真一, 石畠正和, 樺島祥介, 田中和之, 本村陽一, 玉田嘉紀, 鈴木譲, 植野真臣
Total Pages
280
Publisher
共立出版
