• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2017 Fiscal Year Annual Research Report

Textual Entailment Recognition of Cross Lingual Passages

Research Project

Project/Area Number 15K12097
Research InstitutionToyohashi University of Technology

Principal Investigator

土屋 雅稔  豊橋技術科学大学, 情報メディア基盤センター, 准教授 (70378256)

Project Period (FY) 2015-04-01 – 2018-03-31
Keywords含意関係認識
Outline of Annual Research Achievements

含意関係認識ニューラルネットワークモデル(日本語および英語)を作成し,性能評価を行った.その評価の過程において,2つの知見を得た.第1に,英語含意関係コーパス(SNLIコーパス)から学習したニューラルネットワークモデルは,同一コーパスのテストセットに対しては高い精度(80-90%)を発揮するにも関わらず,異なる構築方法によって作成された別の英語含意関係認識コーパス(SICKコーパス)のテストセットに対しては,非常に不自然な性能劣化(60%)を示すという点である.SNLIコーパスとSICKコーパスは,ともに同一ドメインの英文を対象として構築されている含意関係コーパスであり,未知語率は十分に低く,ドメインの相違が理由とは考えられない.また,SNLIコーパスは,ラベル分布が均等になるように設計されている平衡コーパスであり,ラベルの偏りが原因とも考えられない.この性能劣化の原因を調査するため,確率統計モデルに基づく新たなコーパスの偏りの分析手法を提案した.この分析手法は,コーパスのラベル分布などの一般的な統計指標によっては見つけることができない,より深い分析を必要とする偏りを定量的に示すことが可能である.また,定性的な分析により,コーパス作成作業者の語彙選択上の無意識のバイアスが原因であることを明らかにした.第2に,現代的な規模のニューラルネットを学習するという観点からは,既存の日本語含意関係コーパスは,量および品質の両方の観点から不十分であることを明らかにした.

  • Research Products

    (3 results)

All 2018 2017

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (1 results)

  • [Journal Article] Performance Impact Caused by Hidden Bias of Training Data for Recognizing Textual Entailment2018

    • Author(s)
      Masatoshi Tsuchiya
    • Journal Title

      Proceedings of the 11th International Conference on Language Resources and Evaluation

      Volume: - Pages: 1506-1511

    • Peer Reviewed / Open Access
  • [Journal Article] Automatic Alignment between Classroom Lecture Utterances and Slide Components2017

    • Author(s)
      Masatoshi Tsuchiya, Ryo Minamiguchi
    • Journal Title

      Proceedings of Interspeech2017

      Volume: - Pages: 2904-2908

    • DOI

      10.21437/Interspeech.2017-1752

    • Peer Reviewed / Open Access
  • [Presentation] 含意関係認識コーパスの偏りによる性能評価への影響2017

    • Author(s)
      土屋雅稔
    • Organizer
      情報処理学会自然言語処理研究会

URL: 

Published: 2018-12-17  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi