2013 Fiscal Year Annual Research Report
データ複雑性に基づく階層的学習モデル最適化と大規模時系列データマイニングへの応用
| Project/Area Number |
13J09077
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
木脇 太一 東京大学, 工学系研究科, 特別研究員(DC2)
|
|---|
| Keywords | GRBM / RNN |
|---|
| Research Abstract |
今年度の研究活動はGaussian Restricted Boltzmann Machine (GRBM)学習の早期終了に関する研究とRecurrent Neural Network (RNN)などによる時系列処理に関する研究のふたつに分けられる. まずGRBM学習の早期終了に関しては(1) GRBMにより獲得されるGabor様フィルターの数がGRBM学習の初期には増加するが長期の学習により次第に減少し, (2) GRBM特徴量を利用して訓練した分類器の性能もGabor様フィルター数に対応して増減する2点に着目し, GRBM特徴量とデータの情報量からGabor様フィルターの減少を検出して最適な学習時間を効率的に決定する手法を提案し発表した. この研究の対象は自然画像ではあるが, 同一問題は音声など時系列に対しても知られているため(Ranzato et al.,2010), 本研究のテーマである時系列データに対する特徴量抽出においても性能改善に役立つと考えられる. RNNなどによる時系列データ処理に関しては研究動向に関する情報収集およびモデル構築を行った. まずNeural Information Processing Systems (NIPS)の参加および図書の購入により, 当該分野の研究動向を詳細に把握することができた. またNTTコミュニケーション科学研究所でのインターンシップでは, RNNなどを用いた文章予測に関しての研究経験を積んだ. これらに基づきRNNに関して知られるVanishing/Exploding gradientと呼ばれる問題(Bengio et al.,1994)への対処法として, RNNの動的システムとしての安定性の指標であるリアプノフ指数を制御する手法を構築した. 最後に, 今後大きな発展が見込まれるDeep Boltzmann Machineを用いた時系列データ処理の実現に向けて, Boltzmann Machine (BM)の分配関数の効率的計算法に関して研究を進めた. これらの手法の評価のため計算設備を購入した. ベンチマークデータは当初購入を考えていたが無償のデータが存在していたため購入を見送った.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
GRBM学習の早期終了に関しては発表を行う事ができた. また学会への参加により研究動向, 特に同分野の研究者の問題意識やどういったアプローチが可能であるかを把握することができた. これを踏まえてモデルを構築し, また効果的な実験方針や解析手法も決める事ができた.
|
| Strategy for Future Research Activity |
研究動向の詳細な把握と研究経験の深化により, 当初想定していたものよりも効果的な解析手法が分かって来た. 例えば現在活発に研究されているRNNはダイナミクスを内在する力学系の一種であるので, 力学系の側面から研究するのがふさわしいと考えられる. この点に関しては現在, 力学系の専門家との共同研究を行っている. またBMに関しては未だ不明な点が多く, 今後の時系列処理の展望においても重要な位置を占めるが, 現在のところ研究が進んでいない. BMに関しては統計力学的な観点から解析の解析がふさわしいと考え, 現在研究を行っている.
|
Research Products
(3 results)
