2016 Fiscal Year Research-status Report
Distributional学習に対するノンパラメトリックベイズの適用と応用
| Project/Area Number |
26730123
|
|---|
| Research Institution | Tokyo University of Technology |
|---|
Principal Investigator |
柴田 千尋 東京工科大学, コンピュータサイエンス学部, 講師 (00633299)
|
|---|
| Project Period (FY) |
2014-04-01 – 2018-03-31
|
| Keywords | ノンパラメトリックベイズ / 形式言語理論 / 並列分散処理 |
|---|
| Outline of Annual Research Achievements |
distributionalな文脈から構文を学習する際に、ノンパラメトリックベイズの階層を、よりフレキシブルにするような考察および研究を行った。昨年度、右文脈と左文脈に分け、それぞれがどのようにノンパラメトリックベイズの階層において取り除かれていくかを定義し、その有効なサンプリングの手法について考案した。しかし、実際には、最左導出の際は、右文脈を考慮すると、計算量が右文脈の長さに対して指数的に増えるため、右文脈を考慮することは現実的ではない。そこで、H28年度は構文木の導出の順序、および、ノンパラメトリックベイズの階層のつけ方自体を考え直すことで、左右どちらの文脈も、現実的な計算量で考慮できるようなベイズ的な確率過程を考案した。また、異なる文脈で、深層学習で長期の依存関係を捉えることができるリカレントニューラルネットワークの代表的な手法である LSTM(Long short-term memory)に対して、どの程度長期の複雑な依存関係が得ることができるかを、Strict peace-wize というサブレギュラーの言語クラスを用いてチェックを行った。また、LSTM内にどのように文脈の情報が埋め込まれるかを考察するために、LSTM内の、内部状態を長期保持するための状態ベクトルに対し、何かしらの分布を仮定することにより、ベイズ的な解釈を行えないか検討行った。よく内部状態を表すことができる分布を見つけることができると、それと合わせて、LSTMの内部ベクトルの上にベイズ的な生成モデルを構築することができるため、本研究のさらなる発展につながると考えられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
ノンパラメトリックベイズの並列化は、深層学習のようなベクトル化に向いておらず、GPGPUを用いた効率的な並列化は難しい。MCMCMCのような手法もあるが、この場合エネルギーがどれに相当するかの立式が必要となる。また、適応的インポータンスサンプリングを行うことも可能であるが、適応的に分布を変化させた場合、一般的にいって、全ての提案分布について正しい分布へ収束することは証明されておらず、正しい分布へ収束させるための、適応的な提案分布の条件を検討する必要がある。本研究では、今後、それらの課題を何らかの形で克服した上で、効率的な並列化の方法を検討していく予定である。
|
| Strategy for Future Research Activity |
前述のように、構文木の導出の順序とノンパラメトリックベイズの階層のつけ方自体を再定義することで、左右どちらの文脈も、現実的な計算量で考慮できるようなベイズ的な確率過程を考案したが、今後、その実装を行う。また、進捗状況で述べたように、並列化についてもさらに検討を行う。最終的にPenn Tree Bank のデータなどに対して適用するしてアルゴリズムの有効性を評価を行ってゆく予定である。
|
| Causes of Carryover |
一つしか国際会議に参加することができなかったこと、並列計算機の購入が遅れていることなどがあげられる。
|
| Expenditure Plan for Carryover Budget |
国際会議に複数参加する。また、適切な計算機の購入、および、システム構築のための人件費に使用する。
|
Research Products
(2 results)
