2016 Fiscal Year Annual Research Report
Controllable Natural Language Generation with Neural Networks
| Project/Area Number |
16H05873
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
Neubig Graham 奈良先端科学技術大学院大学, 情報科学研究科, 客員准教授 (70633428)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 自然言語処理 / 機械翻訳 / 自然言語生成 / ニューラルネットワーク / 制御性 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
本年度は、機械翻訳と系列変換モデルの制御性を向上させる上で、主に3つの研究成果があった。
まず、本研究に必要な計算基盤として、ニューラルネットの柔軟な計算を可能とするニューラルネットツールキットDyNetの大幅な拡張と効率化を行った。他の既存のツールキットと比較し、計算効率や実装のしやすさに関して、その優位性を示した。また、本研究で実現された改良にもとづき、ユーザベースが大幅に増えて、現在様々な研究機関で利用されている。
また、ニューラルネットに外部から情報を与える様々な手法を提案した。例えば、ニューラルネットを用いた言語モデルに頻度に基づく言語モデルの情報を取り入れて、低頻度語に対する頑健性の向上を図った。また、ニューラルネットに基づく翻訳では、外部辞書の情報を活用して、学習データに十分な学習事例が存在しない単語に対する翻訳性能の向上も実現できた。
また、ニューラルネットに基づく言語生成モデルには大量な学習時間を必要とするため、効率的な実験を行うための工夫も行った。具体的には、どの単語を出力するかを確定する場合、語彙中のすべての単語を考慮せずに、単語をバイナリのビット列として扱い、それぞれのビットを推定することで計算・メモリともに大幅な削減を行うことができる。
これらに加えて、来年度以降のための基盤になる統語情報を翻訳に取り組む手法や、言語資源が少ない場合における翻訳の研究などにも取り組んだ。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初の予定では、28年度には入力の素性追加、事前確率の指定、翻訳辞書の利用等を予定していた。これらをすべて実現する上で、計算の効率向上やニューラルネットツールキットの大幅な拡張など、他の研究実績も実現している。
|
| Strategy for Future Research Activity |
29年度には、大きく分けて2つの課題に取り込む。
まず、翻訳における柔軟な目標関数が指定可能な学習に取り込む予定である。これを行う上で、近年提案された、最小リスク学習や強化学習に基づく手法を適応し、翻訳結果を直接制御する目標関数を提案する。例えば、文の長さを制御する場合、その文の長さがユーザが指定した目標の長さに近い場合目標関数が高くなるような設計などが考えられる。
また、別タスクに対するモデル化を行う予定である。例えば、文書要約や対話など、様々なタスクに対する柔軟な制御を実現する枠組みに取り組む。
|
| Remarks |
本研究で大幅に拡張・効率化されたニューラルネットツールキットDyNet
|
Research Products
(12 results)
-
-
-
-
[Journal Article] 中間言語情報を記憶するピボット翻訳手法2016
Author(s)
三浦 明波, Graham Neubig, Sakriani Sakti, 戸田 智基, 中村 哲
-
Journal Title
自然言語処理
Volume: 23-5
Pages: 499-528
DOI
Peer Reviewed / Open Access / Acknowledgement Compliant
-
-
-
-
-
-
-
-
