2017 Fiscal Year Annual Research Report
Controllable Natural Language Generation with Neural Networks
| Project/Area Number |
16H05873
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
Neubig Graham 奈良先端科学技術大学院大学, 情報科学研究科, 助教 (70633428)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 自然言語処理 / ニューラルネットワーク / 言語生成 |
|---|
| Outline of Annual Research Achievements |
本年度では、主に3つの課題で研究成果を発表した：１．ニューラル言語生成モデルの効率化と省メモリ化、２．ニューラル言語生成モデルにおけるミニバッチ最適化の調査、３．木構造を利用したピボット言語生成モデルの提案。
ニューラル言語生成モデルにおいては、出力する単語を選択するsoftmax関数が要する計算量とメモリはシステムの効率的な学習と適用のボトルネックになることが多い。１つ目の研究成果では、このsoftmax層を、単語を２値符号として表した2値符号出力層に置き換えることによって、大幅に必要な計算とメモリを削減して、制御可能な言語生成モデルの効率を図った。
２つ目の研究成果では、制御可能な言語生成モデルの学習に関する工夫を図った。具体的には、このようなモデルでは、複数のデータ点を同時に処理するミニバッチ学習が必要になるが、そのミニバッチ化が最終的なモデル性能に与える影響を綿密に調べる研究はなかった。我々は様々なミニバッチ化手法を比較し、より安定したモデル学習を実現した。
最後に、ピボット言語を用いた言語生成モデル（具体的には翻訳）に対して、木構造を用いたモデルを提案した。ピボット翻訳では、対訳コーパスが存在しない言語対（例えば日本語・タイ語）を、対訳データが存在するピボット言語（例えば日本語・英語と英語・タイ語）のコーパスで補う。通常のピボット翻訳モデルでは、言語の構造を利用しないが、本研究では言語の構造を考慮することで精度を向上させながらモデルの解釈性を向上させた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度では、研究補助として雇える学生協力者が見つからなかったため、一部研究計画に書いていた項目はやや遅れている。しかし、その他の項目では予想以上の進捗があるため、総じて概ね順調であると判断した。
|
| Strategy for Future Research Activity |
来年度主に３つの課題に取り組む予定である：
１．複数の入力を用いたニューラル言語生成モデルの性能と適応性向上を図る。言語を生成する場合に２つ以上の入力を用いることで複数の情報源を参考にしたり（例えば２つ以上の入力言語を用いて翻訳を行う）、入力とともに制御記号を入力することで制御を行ったりする。本研究では、これらのモデルの精度向上と、一部の入力が欠けた場合の適用可能性を探る。
２．離散的な潜在変数を用いたニューラル言語生成モデルの学習法に関する調査と提案を行う。言語生成では潜在的な離散変数（例えば木構造や単語境界）を利用することで制御可能性を向上させることができるが、これらの変数を用いたモデルの学習が困難である。本研究では、これらのモデルの学習法を提案し、より綿密に制御可能な言語生成モデルを提案する。
３．他タスクへの適応を行う。例えば、翻訳以外にも文章要約や対話における応用等を調査する。
|
