2016 Fiscal Year Annual Research Report
Unsupervised Language Acquisition Integrating Bayesian Double Articulation Analyzer and Deep Learning
| Project/Area Number |
15H05319
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
谷口 忠大 立命館大学, 情報理工学部, 准教授 (80512251)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | 言語獲得 / ノンパラメトリックベイズ / 深層学習 / 音声認識 / 記号創発 |
|---|
| Outline of Annual Research Achievements |
初年度の研究課題として，ベイズ二重分節解析器と深層学習の統合モデルの開発と推論手法の高速化に取り組んだ．具体的には下記の３点の研究に取り組んだ．
１．階層ディリクレ過程隠れ言語モデルへの変分ベイズ法の適用に関する研究：本研究で提案しているベイズ二重分節解析器（Nonparametric Bayesian Double Articulation Analyzer: NPB-DAA）は二重分節構造を持つ時系列データのための確率的生成モデルとしてHDP-HLM(Hierarchical Dirichlet process-hidden language model)を基礎としている．その推論手法はこれまでギブスサンプリングに基づく方法が用いられていたが，高速化のために変分ベイズ法に基づく推論手法を導出した．また，この変分推論に確率的勾配法を適用し，より大規模なデータに対する適用可能性を検討した．その有効性に関しては今後の検証課題である．
２．ベイズ二重分節解析器と深層学習の確率的生成モデルとしての統合モデルの開発：深層学習のモデルを確率的生成モデルとしてとらえ，これをHDP-HLMと統合し，推論手法を導出するための基礎的検討を行った．具体的には変分オートエンコーダと混合モデルを結合したモデルに関する研究を進めた．
３．限られた語彙を用いた単一話者の自然な音声発話からの教師なし言語獲得：前年度に提案したNPB-DAA with DSAE (Deep Sparse Auto Encoder)を子音を含んだ英語音声データに適用し，その有効性を検証した．具体的にはTIDIGITSコーパスと呼ばれる数字の読み上げ音声データに適用し，その有効性を検証した．また，DSAEのネットワーク構造に関して比較研究を行った．この内容に関しては国際会議において発表の予定である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度に当初の予定以上の進展を得たが，その成果を踏まえながら，二年度目ではその成果の応用可能性に関する探索的研究と，モデルを理論的にさらに発展させるための理論的研究，及びそのための調査を中心的に行った．多くの議論の発展や，実験的結果に基づく知見を得ることができた．
|
| Strategy for Future Research Activity |
二年間で研究計画書に示した，1.ベイズ二重分節解析器と深層学習の統合モデルの開発，2. ベイズ二重分節解析器のサンプリングアルゴリズムの高速化，3. 限られた語彙を用いた単一話者の自然な音声発話からの教師なし言語獲得の実現に関して，一定の進捗を得ることが出来た．これらの内容に関しても，さらに理論的な発展を得るとともに，4. 環境・文脈の情報を用いた教師なし言語獲得の高精度化，5. 複数話者・大規模音声発話データからの教師なし言語獲得の実現，といった課題に関して研究を進めていく．
|
