研究課題
平成29年度は、深層学習の研究として、エンコーダーデコーダーモデルのエンコーダー部に構文解析技術を導入する研究・開発を行った。研究計画当初は従来の確率モデルを用いて日本語格解析のための構文解析を行う予定であったが、従来の確率モデルでは十分な精度が得られないことが判明したため、深層学習の技術を基にした確率モデルを実装するように研究計画を変更した。平成29年度は、エンコーダーデコーダーモデルにおいて構文解析技術を導入することで、深層学習と構文解析に関する技術と知見を得ることを目標とした。エンコーダーデコーダーモデルは、主に機械翻訳やキャプション生成で用いられている深層学習の技術の一つであり、エンコーダーおよびデコーダーはLSTM等のユニットを用いた再帰型ニューラルネットワークにより構成されている。本研究で提案する手法は、構文解析技術であるCKYアルゴリズムの計算順序に従った計算を行う畳み込みネットワークを構成し、各単語に対するLSTMの出力をこのネットワークが受け取ることで、句構造を表す内部状態を計算する。従来手法であるLSTMの内部状態に対するアテンションに加え、句構造を表す2次元テーブルに格納された内部状態にアテンションを適用することで、句と訳語とのアライメントを実現しており、アテンションを通して、句構造を表す畳み込みニューラルネットワークの学習が行われる。実験により、機械翻訳の翻訳精度指標であるBLEUが0.66ポイント向上すること、および、可視化により、句に対するアライメントが実現されることを示した。この研究・開発を通して、深層学習および深層学習ツールであるChainerに関する十分な技術と知見を得ることができた。
3: やや遅れている
研究計画当初に予定していた従来の確率モデルでは十分な精度が得られないことが判明した。深層学習技術を基にした確率モデルを構文解析器に導入し、精度を改善する必要があるが、想定以上に時間を要している。また、平成29年度は、大学において情報工学科教育用計算機導入の業務および工学部改組のための業務を行ったが、これらの業務の多忙により、深層学習技術の導入に充てる時間が十分に得られなかった。
平成30年度は、これまでに開発した日本語HPSGツリーバンクおよび日本語HPSG文法の精緻化と修正を行い、深層学習と決定性構文解析を導入することで実用的な日本語格解析システムを実現する。日本語HPSGツリーバンクと日本語HPSG文法については、自然言語処理ツールのNLTKを用いて開発済みであり、平成29年度に深層学習ツールのChainerを用いて開発したエンコーダーの技術を用いることで、深層学習による決定性構文解析を実現する。
平成29年度に、研究計画当初に予定していた従来の確率モデルでは十分な精度が得られないことが判明したため、深層学習を基にした確率モデルを構文解析器に導入するように計画を変更した。そのため、研究計画に遅延が生じ、研究成果の発表を平成30年度に行うことにした。
すべて 2018 2017
すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 3件) 学会発表 (13件) (うち招待講演 4件)
自然言語処理
巻: 24 ページ: 655～668
10.5715/jnlp.24.655
巻: 24 ページ: 447～461
10.5715/jnlp.24.447
Proceedings of the The 8th International Joint Conference on Natural Language Processing (IJCNLP 2017)
巻: Volume 2: Short Papers ページ: 1～6
