データ複雑性に基づく階層的学習モデル最適化と大規模時系列データマイニングへの応用
| Project/Area Number |
13J09077
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Research Field |
Sensitivity informatics/Soft computing
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
木脇 太一 東京大学, 工学系研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2013-04-01 – 2015-03-31
|
| Project Status |
Completed (Fiscal Year 2014)
|
| Budget Amount *help |
¥2,400,000 (Direct Cost: ¥2,400,000)
Fiscal Year 2014: ¥1,200,000 (Direct Cost: ¥1,200,000)
Fiscal Year 2013: ¥1,200,000 (Direct Cost: ¥1,200,000)
|
|---|
| Keywords | Deep Learniing / Generative Models / AIS / RBMs / Boltzmann Machines / DBMs / GRBM / RNN |
|---|
| Outline of Annual Research Achievements |
系列データに対する将来的な学習アーキテクチャとして，本年度はBoltzmann Machine (BM)を主に取り扱った．具体的にはBMの評価手法と学習手法に分けてそれぞれ以下の研究を行った．
まず評価手法に関する研究としてAnnealed Importance Sampling (AIS)を対象とする研究を２件行った．AISはBMの規格化定数を精度よく推定する方法であり，BMの定量評価には欠かせない．まず一つめはGaussian RBM (GRBM)を対象とした提案分布の効率的な設定法に関する研究である．この研究では対角共分散行列をもつ初期分布が使われる従来法に対して，非対角共分散行列が使用できる様に改良を行った．AISに関する二つめの研究ではAnnealing速度の最適化を扱った（現在投稿中）．この研究ではPerfect transitionの仮定のもと解析した推定誤差を数値的に最小化することで，近似精度の向上を試みた．これら方法を複数のRBMに対する規格化定数の推定に用いたところ，近年報告されていた従来法に比べて高い推定精度を達成できることを示した．
次に学習アルゴリズムの改良として，Ratio Matching (RM)法に関する研究とDBMの表現能力に関する研究の二件を行った．まずRMは規格化定数の近似評価を必要としない学習法であるが，多モードデータの学習に困難がある．この研究ではランダムに組み合わせたデータ点間の確率値を均一化する新たな学習基準を提案し人工データに対する実験で効果を確認した． 最後にDeep BM (DBM)の表現能力に関する解析および改良に関する研究を行った（現在投稿準備中）．この研究ではDBMの表現能力の指標を提案し，DBMが期待以上の表現能力を持っていないことを示した．またDBMの問題を改善する新たなBMを提案し，実験的に効果を確かめた．
|
| Research Progress Status |
26年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
26年度が最終年度であるため、記入しない。
|
Report
(2 results)
Research Products
(6 results)
