2022 Fiscal Year Annual Research Report
Building a Commonsense Reasoning Model Considering Inference Process on Event Relational Knowledge
| Project/Area Number |
22J15958
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
大村 和正 京都大学, 情報学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2022-04-22 – 2024-03-31
|
| Keywords | 自然言語処理 / 常識推論 / 自然言語理解 / 談話関係解析 |
|---|
| Outline of Annual Research Achievements |
深層学習の発展に伴い，計算機の自然言語処理能力は長足の進歩を遂げているが，計算機による常識推論は未だ困難であることが報告されている．本研究では，常識推論の中でも基本的な事態間の蓋然的関係(ある程度続けて起こりうる/真である事態間の関係)を推論する能力(以降，常識推論能力と呼ぶ)に焦点を当て，この改善とさらなる言語理解力の評価・改善を目標に手法の検討を進めている．
本年度は，生のテキストデータから常識推論問題を模した疑似問題を大規模に自動生成し，これを訓練時に組み込むことによる常識推論能力の改善を試みた．また，常識推論問題および疑似問題からの転移学習による関連タスクへの効果を定量的に評価し，自然言語理解における蓋然的関係を推論する能力の重要性を検証した．実験の結果，常識推論問題および疑似問題を通して蓋然的関係に関する知識を大規模に学習することで，常識推論タスクおよび関連タスクにおいて全体的な改善が見られることを確認した．これは，自然言語理解における蓋然的関係を推論する能力の重要性を示唆していると考えられる．
また，当初の研究計画では翌年度に事態間の蓋然的関係の推論過程を問う言語資源の構築を目標としていたため，翌年度の研究遂行に向けて，近年登場した大規模言語モデルに対して事態間の蓋然的関係の推論過程を問う予備実験を行った．実験の結果，大規模言語モデルは概ね妥当な推論過程を生成できる傾向が確認された．このため，翌年度は推論過程を問う方針で進めるのではなく，談話関係全般の推論能力の評価・改善を目標として研究を進める予定である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通り，本年度は生のテキストデータから蓋然的関係に関する知識を大規模に自動獲得し，これを用いた常識推論モデルの改善に取り組んだ．また，蓋然的関係に関する知識を広範に学習することによる常識推論タスクおよび関連タスクへの効果を定量的に評価し，全体的な改善が見られることを実験的に示した．本研究成果をまとめた論文は自然言語処理の国際会議に採択され，採択論文の2%が選ばれるOutstanding Paperを受賞するなど，国際的な評価を得た．本年度に行った予備実験の結果から翌年度の方針を若干変更する予定であるが，全体を通して本研究課題は概ね順調に進んでいると考えられる．
|
| Strategy for Future Research Activity |
翌年度は本年度に行った予備実験の結果をもとに，談話関係全般の推論能力の評価・改善に取り組む．具体的には，既存の談話関係タグ付きコーパスを用いて昨今の計算機モデルの性能を評価し，誤答例に対する定性的分析を行う．分析をもとにモデルの性能改善に効果的なデータ生成手法を検討し，その有用性を検証する．近年登場した大規模言語モデルを用いることで柔軟なデータ生成が可能となると考えられるため，この活用を視野に入れて研究を進める．
|
