2022 Fiscal Year Annual Research Report
Study on Improving Performance of Natural Language Processing by Integrating Collocation Extraction and Deep Learning
| Project/Area Number |
19K20333
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
若林 啓 筑波大学, 図書館情報メディア系, 准教授 (40631908)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 連語抽出 / 深層学習 / 対話システム / トピックモデル |
|---|
| Outline of Annual Research Achievements |
(1) 連語抽出手法と深層学習手法の融合に関して，さらなる手法の発展と分析を進めた．提案手法は，後段タスクのモデルの最適化と，単語列の一部を連語として切り出すモデルの最適化を，統一された枠組みの中で同時に行うことで，後段タスクの精度向上に寄与するような連語の抽出を動的に行う．実験の結果から，後段タスクに依存した連語の抽出が可能になっていることが示されたが，後段タスクの精度自体は従来手法と大きく変化しないことが明らかになった．さらに実験を行い，Transformerや再帰型ニューラルネットワークなどの近年の深層学習モデルが，単語やサブワードなどのより細かいトークン列の情報から内部的に連語の特徴を十分に抽出できていることを示唆する結果を得た．これらの成果を国内会議録論文1編で報告し，国際会議にも論文を投稿中である．
(2) 連語の考慮による自然言語処理アプリケーションの精度向上に関して，対話システムとトピックモデリングのタスクにおける研究を進めた．対話システムの自然言語理解タスクにおいて，ユーザの発話の中でシステムに直接与えたい情報を表す部分だけでなく，その周辺の特徴的な連語表現の確率を明示的にモデル化することで，訓練データが少量かつ不正確な時にも精度の低下を抑えることができ，頑健な性能を持つ手法が構築できることを明らかにした．また，トピックモデリングにおいて，ユーザのフィードバックを単語ではなくキーフレーズとして受け取ることによって，文書とトピックの関係をより密接に認識することができ，より早く望ましいトピック分類に近づけることができることを明らかにした．これらの成果を学術雑誌論文1編，国際会議録論文1編にまとめて報告した．
|
