Efficient training for neural encoder-decoders on a large amount of training data

2020 Fiscal Year Final Research Report

• Project/Area Number: 18K18119
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: Takase Sho 東京工業大学, 情報理工学院, 助教 (40817483)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: 自然言語処理 / ニューラルネットワーク / 機械翻訳

Outline of Final Research Achievements

The purpose of this research is to explore a method to update parameters of neural encoder-decoders every time we obtain an additional training data. For this purpose, we have to construct a sophisticated neural encoder-decoder. In this research, I focused on constructing such sophisticated neural encoder-decoders, and proposed several methods for the construction. Research papers on these methods are accepted at EMNLP, NAACL, AAAI, NeurIPS, that are top-tier conferences on Natural Language Processing. Artificial Intelligence, and Machine Learning.

Free Research Field

自然言語処理

Academic Significance and Societal Importance of the Research Achievements

ニューラルネットワークの導入により、機械翻訳や要約において、計算機が流暢な出力を行えるようになってきている。しかしながら、計算機の出力した翻訳や要約と、人手で作成したものとの一致率はまだ低く、改善の余地があることが伺える。本研究課題での成果は、従来の機械翻訳器や要約器の性能を引き上げるものであり、この手法を導入することにより、より良い出力が得られると期待できる。特に、本研究では、要約タスクにおいて、人手で設定した要約率に応じた出力を可能にする手法を提案しており、これにより、計算機の出力の柔軟性が向上すると考えられる。