|
言語理解システムを着実に開発するには理解の過程に関する精緻な分析と評価が必要であるが、既存のタスクではシステムの能力について十分な説明性が確保されていなかった。本研究は読解問題に焦点を当て、回答に至るまでの根拠についての理解を補助的な問題として課すことで詳細な評価を可能にするデータセットを構築した。既存の選択式の読解問題に対してそれぞれの選択肢が正解・不正解になる根拠情報をクラウドソーシングで収集し、その根拠情報自体が答えになるような選択式の問題を作成することで元々の問題に対して根拠まで含めた一貫性のある理解がなされているかどうかを問えるようにした。
|
