2018 Fiscal Year Research-status Report
英語の語形変化推定を利用した言語モデルによる自動文書作成ソフトウエアに関する研究
| Project/Area Number |
18K00904
|
|---|
| Research Institution | Kurume National College of Technology |
|---|
Principal Investigator |
小田 幹雄 久留米工業高等専門学校, 制御情報工学科, 教授 (80300648)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 言語モデル / 活用形 |
|---|
| Outline of Annual Research Achievements |
本研究前半の目的は、意味的情報を保存した基本形単語の分散表現法の検討、基本形単語の分散表現を入力として、基本形単語列からなる文脈から次の基本形単語の出現確率を学習し、かつ、同時に、語形変化の推定をする手法を検討することである。
交付申請書では、研究前半の目的を達成するために2つの課題を挙げているが、平成30年度は、第2の課題を解決するための研究を遂行した。第2の課題は、言語モデルに組み込む機構の1つとして、単語の基本形から語形変化(活用形)を生成する手法を検討することであり、以下の研究結果が得られた。
単語の基本形からタグに基づき変化形を生成する機構は、CoNLL2017 Shared Taskで検討されており、sequence-to-sequenceモデルによる学習が最良の結果が得られている。Shared Taskでは、単語のアルファベットのみを用いて学習しているが、動詞等の変化形は、発音に関連するとの考察から、精度を向上させるために、単語のアルファベットだけでなく、発音記号を入出力に用いることを考案した。言語モデルの学習モデルで想定していたLSTMを用いたsequence-to-sequenceモデルを用いて、アルファベットと発音記号のどちらが学習に有効であるかを数値実験を行い検証したが、アルファベットに優位性があり、CoNLL2017 Shared Taskの最良結果を超える精度を得ることができなかった。
本課題については、引き続き検討中であり、sequence-to-sequenceモデルの中で、近年、注目を浴びている自己アテンション機能を有するBERTを用いることを計画しており、今後、精度向上を達成したい。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
言語モデルに組み込む機構の1つとして、単語の基本形から語形変化(活用形)を生成する手法を検討した。動詞等の変化形は、発音に関連するとの考察から、精度を向上させるために、単語のアルファベットだけでなく、発音記号を入出力に用いることを考案した。しかしながら、アルファベットに優位性があり、CoNLL2017 Shared Taskの最良結果を超える精度を得ることができなかった。
今後、CoNLL2017 Shared Taskの最良結果と同等または超える精度を得るために、入力データの観点ではなく、他の学習モデルを採用することを具体的に計画している。
|
| Strategy for Future Research Activity |
本研究の前半の目的を達成するために、引き続き、第2の課題「単語の基本形からタグに基づき変化形を生成する機構」を検討する。CoNLL2017 Shared Taskでは、LSTMを用いたsequence-to-sequenceモデルがstate-of-the-artであるが、近年、注目を浴びている自己アテンション機能を有するBERTを用いて学習することにより、精度向上に取り組む。また、第1の課題「コーパス中の単語をすべて基本形に変換 し、構文情報を含めて学習することにより、言語モデルを構築する」については、同様に、BERTを用いた学習について検討する。
第3の課題「提案した言語モデルによる英文技術文書作成支援ソフトウエアの開発」については、第1と第2の課題により得られた言語モデルを用いて開発する予定である。数値計算に関する研究環境としては、本研究補助金で購入したGPU搭載の計算機により、CPUを用いる場合と比べ、7倍から10倍程度の高速化が実現できており、提案手法の評価と改善に大きく寄与している。
|
| Causes of Carryover |
物品費として、計算機の構成部品の調達、旅費として、国際会議の参加費・旅費、人件費・謝金として、データ整理作業が未実施であった。これらの項目のため、次年度以降に使用する計画である。
|
