2017 Fiscal Year Annual Research Report

Textual Entailment Recognition of Cross Lingual Passages

Research Project

Project/Area Number	15K12097
Research Institution	Toyohashi University of Technology
Principal Investigator	土屋雅稔豊橋技術科学大学, 情報メディア基盤センター, 准教授 (70378256)
Project Period (FY)	2015-04-01 – 2018-03-31
Keywords	含意関係認識
Outline of Annual Research Achievements	含意関係認識ニューラルネットワークモデル（日本語および英語）を作成し，性能評価を行った．その評価の過程において，2つの知見を得た．第1に，英語含意関係コーパス（SNLIコーパス）から学習したニューラルネットワークモデルは，同一コーパスのテストセットに対しては高い精度（80-90％）を発揮するにも関わらず，異なる構築方法によって作成された別の英語含意関係認識コーパス（SICKコーパス）のテストセットに対しては，非常に不自然な性能劣化（60％）を示すという点である．SNLIコーパスとSICKコーパスは，ともに同一ドメインの英文を対象として構築されている含意関係コーパスであり，未知語率は十分に低く，ドメインの相違が理由とは考えられない．また，SNLIコーパスは，ラベル分布が均等になるように設計されている平衡コーパスであり，ラベルの偏りが原因とも考えられない．この性能劣化の原因を調査するため，確率統計モデルに基づく新たなコーパスの偏りの分析手法を提案した．この分析手法は，コーパスのラベル分布などの一般的な統計指標によっては見つけることができない，より深い分析を必要とする偏りを定量的に示すことが可能である．また，定性的な分析により，コーパス作成作業者の語彙選択上の無意識のバイアスが原因であることを明らかにした．第2に，現代的な規模のニューラルネットを学習するという観点からは，既存の日本語含意関係コーパスは，量および品質の両方の観点から不十分であることを明らかにした．