2017 Fiscal Year Research-status Report
Distributional学習に対するノンパラメトリックベイズの適用と応用
| Project/Area Number |
26730123
|
|---|
| Research Institution | Tokyo University of Technology |
|---|
Principal Investigator |
柴田 千尋 東京工科大学, コンピュータサイエンス学部, 講師 (00633299)
|
|---|
| Project Period (FY) |
2014-04-01 – 2019-03-31
|
| Keywords | ノンパラメトリックベイズ / 形式言語理論 / リカレントニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
近年急速に発達している深層学習の手法について、ノンパラメトリックベイズの観点からの解釈や表現などについて探求を行った。特に、LSTMは、長期の依存関係を捉えることができるリカレントニューラルネットワークの代表的な手法であるが、文脈情報がどのような形でLSTMの内部状態に埋め込まれているのかについて、探求を行った。その結果、ある程度の規則性のある形式言語については、ある特殊な形で埋め込みが行われていることが確認できた。特に、括弧だけからなる言語(つまりΣ={'(',')'})など、主に出現回数を数えることで文か非文かが決まってくるような言語においては、非常によく内部ベクトルに表現が埋め込まれることがわかった。本年度では、LSTMの内部ベクトルの上にベイズ的な生成モデルを構築するには至らなかったが、それに向けての基礎的な環境を整えることができたと考えている。また、実際には、サンプリング法は高速に行うことが必要であるため、pythonのようなインタプリタ型での実装では、実装やデバッグは効率的になるものの、限界がある。ノンパラメトリックベイズ推定では、サンプリングと呼ばれる手法を主によく用いられるが、ベクトル演算として効率よく実装することは難しいため、深層学習など他の機械学習の手法でよく用いられるようなpythonのベクトル演算用のライブラリを用いることは難しい。一方で、プログラムの効率性や、デバッグのしやすさなどの観点からは、C言語などでの実装では非効率であることから、cython などによる中間的な実装方法の再検討を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
実装するプログラム言語の再検討を行ったことや、LSTMなどの方法が台頭してきたことによる、研究の方針の修正を行ったため、平成29年度に目標としていた、ノンパラメトリックベイズの並列化などについて、十分な成果を得ることはできなかった。
|
| Strategy for Future Research Activity |
提案アルゴリズムを使用して、Penn Tree Bank のデータなどに対して適用するまでのプログラムを完成させる予定である。また、その成果の発表を行いたいと考えている。
|
| Causes of Carryover |
研究の進展の遅れや現在の機械学習のトレンドに合わせた方針の修正のため、並列計算機の価格が予想よりもかからなかったこと、および、学会発表の数が少なく、旅費や物品費の経費が少なくなったっため。次年度は、アルゴリズムの実装やデータへの適用実験のためのプログラム作成の謝金、および成果の学会の発表のための費用が必要であるため使用計画とする。
|
