• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

形式意味論と言語処理の融合による構成的言語モデルの開発

研究課題

研究課題/領域番号 20K19868
研究種目

若手研究

配分区分基金
審査区分 小区分61030:知能情報学関連
研究機関東京大学 (2021-2023)
国立研究開発法人理化学研究所 (2020)

研究代表者

谷中 瞳  東京大学, 大学院情報理工学系研究科, 准教授 (10854581)

研究期間 (年度) 2020-04-01 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
2023年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2022年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2021年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2020年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
キーワード自然言語推論 / 体系性 / 構成性 / 深層学習 / 自然言語処理 / 形式意味論 / 意味解析 / 事前訓練済み言語モデル / 構成性原理 / 人工知能 / 汎化性能 / 単調性 / 推移性
研究開始時の研究の概要

文の意味を計算処理可能な形式で表し、文と文との意味的関係を判定する含意関係認識の実現は、計算機による言語理解に向けて解決すべき最重要課題である。近年、深層学習に基づく言語モデルを用いた含意関係認識の研究が盛んに行われているが、文の構成的意味における言語モデルの表現力は明らかではなく、未知のデータに対する頑健性や表現学習の効率性が不透明である。一方で、形式意味論では、文の構成的意味を推論の妥当性から分析する研究が成熟しつつある。そこで本研究では、形式意味論と自然言語処理の融合による構成的言語モデルの実現を目指す。

研究成果の概要

深層学習を用いた自然言語処理の研究が活発に進められている。しかし、深層学習のモデルは、文の構成的な意味の扱いが明らかでなく、未知のデータに対する頑健性が不透明である。そこで本研究では、形式意味論と自然言語処理の知見を融合して、深層学習のモデルの文の意味の扱いを明らかにし、文の構成的な意味を考慮した言語処理技術の開発に取り組んだ。具体的には、英語と日本語の推論ベンチマークを構築し、現在のモデルの汎化性能の課題を特定した。さらに、文の意味を構成的に解析し文間の推論を行う推論システムの開発を進めた。得られた成果の一部は自然言語処理のトップ国際会議ACL、トップジャーナル誌TACLに採択された。

研究成果の学術的意義や社会的意義

本研究成果の中で特定された深層学習のモデルの文の意味における汎化性能の課題は、大規模言語モデルの信頼性に関わり、社会的影響が大きいものである。また、既存の自然言語推論ベンチマークの多くは英語であり、日本語の自然言語推論ベンチマークの枯渇は日本語の言語処理技術の発展に向けて深刻な問題である。本研究成果の一部である日本語の自然言語推論ベンチマークは、いずれも研究利用可能な形で公開しており、大規模言語モデルの基礎解析や日本語の言語処理技術の評価に貢献するものである。

報告書

(5件)
  • 2023 実績報告書   研究成果報告書 ( PDF )
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 研究成果

    (40件)

すべて 2024 2023 2022 2021 2020 その他

すべて 雑誌論文 (8件) (うち査読あり 8件、 オープンアクセス 8件) 学会発表 (28件) (うち国際学会 9件、 招待講演 6件) 図書 (1件) 備考 (3件)

  • [雑誌論文] AIは言語の基盤を獲得するか:推論の体系性の観点から2024

    • 著者名/発表者名
      谷中 瞳、峯島 宏次
    • 雑誌名

      認知科学

      巻: 31 号: 1 ページ: 27-45

    • DOI

      10.11225/cs.2023.078

    • ISSN
      1341-7924, 1881-5995
    • 年月日
      2024-03-01
    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 日本語症例テキストの複合語解析・推論システム Medc2l2023

    • 著者名/発表者名
      Ishida Mana、Yanaka Hitomi、Bekki Daisuke
    • 雑誌名

      自然言語処理

      巻: 30 号: 3 ページ: 935-958

    • DOI

      10.5715/jnlp.30.935

    • ISSN
      1340-7619, 2185-8314
    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Compositional Evaluation on Japanese Textual Entailment and Similarity2022

    • 著者名/発表者名
      Hitomi Yanaka, Koji Mineshima
    • 雑誌名

      Transactions of the Association for Computational Linguistics

      巻: 10 ページ: 1266-1284

    • DOI

      10.1162/tacl_a_00518

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Compositional Semantics and Inference System for Temporal Order based on Japanese CCG2022

    • 著者名/発表者名
      Sugimoto Tomoki、Yanaka Hitomi
    • 雑誌名

      Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop

      巻: - ページ: 104-114

    • DOI

      10.18653/v1/2022.acl-srw.10

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] SyGNS: A Systematic Generalization Testbed Based on Natural Language Semantics2021

    • 著者名/発表者名
      Hitomi Yanaka, Koji Mineshima, and Kentaro Inui
    • 雑誌名

      Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021

      巻: - ページ: 103-119

    • DOI

      10.18653/v1/2021.findings-acl.10

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Do Grammatical Error Correction Models Realize Grammatical Generalization?2021

    • 著者名/発表者名
      Mita Masato、Yanaka Hitomi
    • 雑誌名

      Findings of the Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP2021)

      巻: - ページ: 4554-4561

    • DOI

      10.18653/v1/2021.findings-acl.399

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Exploring Transitivity in Neural NLI Models through Veridicality2021

    • 著者名/発表者名
      Yanaka Hitomi、Mineshima Koji、Inui Kentaro
    • 雑誌名

      Proceedings of the 16th conference of the European Chapter of the Association for Computational Linguistics (EACL2021)

      巻: 1 ページ: 920-934

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language?2020

    • 著者名/発表者名
      Yanaka Hitomi、Mineshima Koji、Bekki Daisuke、Inui Kentaro
    • 雑誌名

      Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL2020)

      巻: 1 ページ: 6105-6117

    • DOI

      10.18653/v1/2020.acl-main.543

    • NAID

      130007956038

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] Reforging: A Method for Constructing a Linguistically Valid Japanese CCG Treebank2024

    • 著者名/発表者名
      Asa Tomita, Hitomi Yanaka, Daisuke Bekki
    • 学会等名
      Proceedings of the EACL2024 Student Research Workshop
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 文字系列情報による性能への影響からニューラルモデルが有する言語的な傾向を見出せるか2024

    • 著者名/発表者名
      黒澤友哉, 谷中瞳
    • 学会等名
      言語処理学会第30回年次大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 言語学的に妥当な日本語CCGツリーバンクの構築と評価2024

    • 著者名/発表者名
      富田朝, 谷中瞳, 戸次大介
    • 学会等名
      言語処理学会第30回年次大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Jamp: Controlled Japanese Temporal Inference Dataset for Evaluating Generalization Capacity of Language Models2023

    • 著者名/発表者名
      Tomoki Sugimoto, Yasumasa Onoe, Hitomi Yanaka
    • 学会等名
      Proceedings of the ACL2023 Student Research Workshop (SRW)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 多言語DRS意味解析における文字系列情報の性能分析2023

    • 著者名/発表者名
      黒澤友哉, 谷中瞳
    • 学会等名
      人工知能学会第37回全国大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 言語学的に妥当なCCGツリーバンク構築の試み2023

    • 著者名/発表者名
      富田朝, 谷中瞳, 戸次大介
    • 学会等名
      人工知能学会第37回全国大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Is Japanese CCGBank empirically correct? A case study of passive and causative constructions2023

    • 著者名/発表者名
      Daisuke Bekki, Hitomi Yanaka
    • 学会等名
      Proceedings of the 21st International Workshop on Treebanks and Linguistic Theories
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 日本語CCGBankは言語学的に妥当か2023

    • 著者名/発表者名
      戸次大介, 谷中瞳
    • 学会等名
      言語処理学会第29回年次大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 時間的順序を考慮した日本語論理推論システムの構築2022

    • 著者名/発表者名
      杉本智紀, 谷中瞳
    • 学会等名
      人工知能学会第36回全国大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 共起確率を用いた構文木の自動選択による推論システムの改善2022

    • 著者名/発表者名
      井上裕太, 谷中瞳
    • 学会等名
      NLP若手の会第17回シンポジウム
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] サプライザルを利用した日本語の流暢性フィルタリングの試み2022

    • 著者名/発表者名
      田村鴻希, 土井惟成, 西田直人, Junjie Chen, 谷中瞳
    • 学会等名
      言語処理学会第29回年次大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 説明可能な検索ベースの文書分類手法の提案2022

    • 著者名/発表者名
      中井優, 中野雄介, 徳永優也, 上田亮, 谷中瞳
    • 学会等名
      言語処理学会第29回年次大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Revisiting the Systematicity Argument through Analyzing Deep Neural Networks2022

    • 著者名/発表者名
      Hitomi Yanaka
    • 学会等名
      Aspects of Logic Study, celebrating World Logic Day (WLD2022)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Exploring the Generalization Ability of Neural Models through Natural Language Inference2022

    • 著者名/発表者名
      Hitomi Yanaka
    • 学会等名
      the 6th International Workshop on Symbolic-Neural Learning (SNL2022)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] 論理に基づく推論システムの再訪2022

    • 著者名/発表者名
      谷中瞳
    • 学会等名
      情報処理学会第253回自然言語処理研究会
    • 関連する報告書
      2022 実施状況報告書
    • 招待講演
  • [学会発表] JSICK:構成的推論・類似度データセットSICK日本語版の紹介2022

    • 著者名/発表者名
      谷中瞳
    • 学会等名
      NLPコロキウム
    • 関連する報告書
      2022 実施状況報告書
    • 招待講演
  • [学会発表] 形式言語学の知見を活用した自然言語推論2022

    • 著者名/発表者名
      谷中瞳
    • 学会等名
      第31回ステアラボ人工知能セミナー
    • 関連する報告書
      2022 実施状況報告書
    • 招待講演
  • [学会発表] Logical Inference System for Temporal Order based on Japanese CCG2022

    • 著者名/発表者名
      Tomoki Sugimoto, Hitomi Yanaka
    • 学会等名
      the ESSLLI2022 Workshop Natural Logic Meets Machine Learning (NALOMA2022)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] JSICK: 日本語構成的推論・類似度データセットの構築2021

    • 著者名/発表者名
      谷中瞳, 峯島宏次
    • 学会等名
      人工知能学会第35回全国大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] ワークショップ:哲学の応用と社会実装 ─ヘイトスピーチをめぐる 文理共創研究の可能性と課題─2021

    • 著者名/発表者名
      荒井ひろみ, 和泉悠, 朱喜哲, 辻大介, 仲宗根勝仁, 谷中瞳
    • 学会等名
      応用哲学会第十三回年次大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Abusive Tweets in Japanese during the COVID-19 pandemic2021

    • 著者名/発表者名
      Yu Izumi, Hiromi Arai, Hitomi Yanaka, Katsuhito Nakasone, Heechul Ju
    • 学会等名
      the 3rd International Workshop HATE SPEECH IN ASIA AND EUROPE Pandemic, Fear, and Hate
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Do Neural Models Learn Transitivity of Veridical Inference?2021

    • 著者名/発表者名
      Hitomi Yanaka, Koji Mineshima, Kentaro Inui
    • 学会等名
      the IWCS2021 Workshop Natural Logic Meets Machine Learning
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Revisiting the Systematicity Argument through Analyzing Deep Neural Networks2021

    • 著者名/発表者名
      Hitomi Yanaka
    • 学会等名
      Aspects of Logic Study, celebrating World Logic Day (WLD2022)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] ニューラルネットが学習する意味表現は体系性を持つか2021

    • 著者名/発表者名
      谷中瞳, 峯島宏次, 乾 健太郎
    • 学会等名
      言語処理学会第27回年次大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 文法誤り訂正モデルは訂正に必要な文法を学習しているか2021

    • 著者名/発表者名
      三田雅人, 谷中瞳
    • 学会等名
      言語処理学会第27回年次大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] ニューラルネットワークによる自然言語推論の可能性2020

    • 著者名/発表者名
      谷中瞳, 峯島宏次, 戸次大介, 乾 健太郎
    • 学会等名
      人工知能学会第34回全国大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] ニューラルネットは自然言語推論の体系性を学習するか2020

    • 著者名/発表者名
      谷中瞳, 峯島宏次, 戸次大介, 乾 健太郎
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 文法誤り訂正モデルは文法知識を汎化しているか2020

    • 著者名/発表者名
      三田雅人, 谷中瞳
    • 学会等名
      NLP若手の会第15回シンポジウム
    • 関連する報告書
      2020 実施状況報告書
  • [図書] AIはレイシズムと戦えるのか―自然言語処理分野におけるヘイトスピーチ自動検出研究の現状と課題2021

    • 著者名/発表者名
      和泉 悠, 仲宗根勝仁, 朱喜哲, 谷中 瞳, 荒井ひろみ
    • 総ページ数
      17
    • 出版者
      岩波書店
    • 関連する報告書
      2021 実施状況報告書
  • [備考] JAMP: Japanese Temporal Inference Dataset

    • URL

      https://github.com/ynklab/Jamp

    • 関連する報告書
      2023 実績報告書
  • [備考] JSICK

    • URL

      https://github.com/verypluming/JSICK

    • 関連する報告書
      2022 実施状況報告書
  • [備考] ccgtemp

    • URL

      https://github.com/ynklab/ccgtemp

    • 関連する報告書
      2022 実施状況報告書

URL: 

公開日: 2020-04-28   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi