• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

現実世界の逐次的環境変化に協調的に適応するマルチモーダル自然言語理解モデル

研究課題

研究課題/領域番号 21K21343
研究種目

国際共同研究加速基金(帰国発展研究)

配分区分基金
審査区分 情報学
研究機関東北大学

研究代表者

坂口 慶祐  東北大学, 情報科学研究科, 准教授 (20934087)

研究期間 (年度) 2022-02-18 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
57,070千円 (直接経費: 43,900千円、間接経費: 13,170千円)
キーワード自然言語処理 / 大規模言語モデル / マルチモーダル / 深層学習
研究開始時の研究の概要

深層学習による自然言語処理の大きな進展が見られる一方、現実世界のように常に変化する文脈情報が重要なタスクには適応できていない。本研究では、現実世界のように文脈が変化する環境において、言語情報だけでなく、視覚情報、聴覚情報を統合的かつ逐次的に学習するマルチモーダルモデルを提案し実装する。

研究実績の概要

現代社会において、人間とAIが自然にインタラクションや協働を行うためには、ユーザーの文脈を考慮し柔軟に対応できる自然言語処理モデルが不可欠である。このようなモデルは、ユーザーのニーズに応じた対話を可能にし、AIとユーザー間のコミュニケーションをより円滑にすると考えられる。しかし、現時点では「ベンチマーク上での高い精度と、動的な文脈が重要になるアプリケーションでの低い精度とのギャップ」が問題となっている。つまり、AIは一定の文脈でのパフォーマンスは向上しているが、より広範で複雑な状況への対応能力にはまだ限界がある。

その解決策として、本研究課題では、現実世界のように常に状況や文脈が変化する環境に対応可能なマルチモーダルモデルを提案している。このモデルは、言語情報だけでなく、視覚情報や聴覚情報を統合的かつ逐次的に学習する能力を持ち、AIがユーザーの現在の状況をより深く理解し、それに基づいた適切な対応を提供することを可能にする。

本プロジェクトの2年目では、状況や文脈が変化する環境をベンチマークとしてRealTimeQAを構築し、またマルチモダリティの対象として、画像と抽象的な記号処理を含むダイアグラムの理解に着手した研究が進行中である。それ以外にも、大規模言語モデルの日本語対応や人とAIの創作活動におけるインタラクションに関する研究など、応用の可能性についても成果を上げている。研究成果の発表としては、国際会議での論文採択6件、国内会議14件、国内外の招待講演10件がある。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

2年目は、これまでの取り組みを論文やソフトウェア、データセット、国際会議での発表など、様々な形で成果を発表することができた。
2023年は自然言語処理分野において大規模言語モデルの高性能化やリリースが研究者の予想を超える速度で進んだため、本研究課題の当初のスコープの一部がある程度解決された。これを踏まえ、単純な画像を用いたマルチモダリティだけでなく、抽象的・記号処理的な概念を含むダイアグラム画像の理解など、より挑戦的な課題にも柔軟に対応し、予備実験を開始することができた。
また、モデルの動的な文脈への対応力を測るベンチマークとしてRealtimeQAプロジェクトを立ち上げ、国際会議で発表した。具体的には、世界の最新の出来事を半自動で抽出し、大規模言語モデルの性能評価用のフォーマットを自動で構築するものである。これにより、既存モデルの比較評価や新たに登場するモデルへの対応、さらに評価基盤とその結果の継続的な計測が行われている。

今後の研究の推進方策

昨年度から引き続き、大規模言語モデルの高性能化やAPIなどのリリースが分野全体で飛躍的に進んでおり、それらの技術を素早く柔軟に活用することが重要であると考えられる。
最終年度では、マルチモダリティの中でも特にダイアグラム理解や大規模言語モデルの応用(人間とのインタラクション)に焦点を当てつつ、本研究の知見の社会実装や応用を推進する。

報告書

(2件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 研究成果

    (35件)

すべて 2024 2023 2022 その他

すべて 国際共同研究 (3件) 雑誌論文 (6件) (うち国際共著 4件、 査読あり 6件、 オープンアクセス 6件) 学会発表 (24件) (うち国際学会 4件、 招待講演 1件) 備考 (1件) 学会・シンポジウム開催 (1件)

  • [国際共同研究] University of Washington/Allen Institute for AI/Yale University(米国)

    • 関連する報告書
      2023 実施状況報告書
  • [国際共同研究] Mohamed bin Zayed University of AI(アラブ首長国連邦)

    • 関連する報告書
      2023 実施状況報告書
  • [国際共同研究] University of Washington/Allen Institute for AI/Yale University(米国)

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] RealTime QA: What's the Answer Right Now?2023

    • 著者名/発表者名
      Jungo Kasai, Keisuke Sakaguchi, Yoichi Takahashi, Ronan Le Bras, Akari Asai, Xinyan Velocity Yu, Dragomir Radev, Noah A. Smith, Yejin Choi, Kentaro Inui
    • 雑誌名

      Thirty-seventh Conference on Neural Information Processing Systems Datasets and Benchmarks Track

      巻: 0 ページ: 0-0

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Test-time Augmentation for Factual Probing2023

    • 著者名/発表者名
      Go Kamoda, Benjamin Heinzerling, Keisuke Sakaguchi, Kentaro Inui
    • 雑誌名

      Findings of the Association for Computational Linguistics: EMNLP 2023

      巻: 0 ページ: 3650-3661

    • DOI

      10.18653/v1/2023.findings-emnlp.236

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] I2D2: Inductive Knowledge Distillation with NeuroLogic and Self-Imitation2023

    • 著者名/発表者名
      Chandra Bhagavatula, Jena D Hwang, Doug Downey, Ronan Le Bras, Ximing Lu, Keisuke Sakaguchi, Swabha Swayamdipta, Peter West, Yejin Choi
    • 雑誌名

      Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)

      巻: 0 ページ: 9614-9630

    • DOI

      10.18653/v1/2023.acl-long.535

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] ELQA: A Corpus of Metalinguistic Questions and Answers about English2023

    • 著者名/発表者名
      Shabnam Behzad, Keisuke Sakaguchi, Nathan Schneider, Amir Zeldes
    • 雑誌名

      Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)

      巻: 0 ページ: 2031-2047

    • DOI

      10.18653/v1/2023.acl-long.113

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning?2023

    • 著者名/発表者名
      Keito Kudo, Yoichi Aoki, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi, Kentaro Inui
    • 雑誌名

      Proceedings of the 2023 Conference of the European Chapter of the Association for Computational Linguistics

      巻: 0 ページ: 1343-1354

    • DOI

      10.18653/v1/2023.eacl-main.98

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Empirical Investigation of Neural Symbolic Reasoning Strategies2023

    • 著者名/発表者名
      Yoichi Aoki, Keito Kudo, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi, Kentaro Inui
    • 雑誌名

      Findings of the Association for Computational Linguistics: EACL 2023

      巻: 0 ページ: 1154-1162

    • DOI

      10.18653/v1/2023.findings-eacl.86

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] RLHFを用いた「面白い」短歌の自動生成の試み2024

    • 著者名/発表者名
      羽根田賢和, 浦川通, 田口雄哉, 田森秀明, 坂口慶祐
    • 学会等名
      言語処理学会第30回年次大会論文集
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 検出器の判断に基づく大規模言語モデルの生成テキストの特徴分析2024

    • 著者名/発表者名
      三浦東子, 谷口雅弥, 坂口慶祐, 乾健太郎
    • 学会等名
      言語処理学会第30回年次大会論文集
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 言語モデルの思考連鎖的推論における探索戦略の動的変化2024

    • 著者名/発表者名
      青木洋一, 工藤慧音, 曾根周作, 栗林樹生, 谷口雅弥, 坂口慶祐, 乾健太郎
    • 学会等名
      言語処理学会第30回年次大会論文集
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 言語モデルからの知識削除:頻出実体の知識は副作用が破滅的2024

    • 著者名/発表者名
      高橋良允, 鴨田豪, BenjaminHeinzerling, 坂口慶祐, 乾健太郎
    • 学会等名
      言語処理学会第30回年次大会論文集
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 算術推論問題における自己回帰型言語モデルの内部機序2024

    • 著者名/発表者名
      工藤慧音, 青木洋一, 栗林樹生, 谷口雅弥, 曾根周作, 坂口慶祐, 乾健太郎
    • 学会等名
      言語処理学会第30回年次大会論文集
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 日本の司法試験を題材としたGPTモデルの評価2024

    • 著者名/発表者名
      チェジョンミン, 笠井淳吾, 坂口慶祐
    • 学会等名
      言語処理学会第30回年次大会論文集
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 自然画像で学習された画像埋め込みにダイアグラムを特徴づける情報は含まれているか?2024

    • 著者名/発表者名
      吉田遥音, 工藤慧音, 青木洋一, 田中涼太, 斉藤いつみ, 坂口慶祐, 乾健太郎
    • 学会等名
      言語処理学会第30回年次大会論文集
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] J-UniMorph: 日本語の形態論における意味分類の体系化2024

    • 著者名/発表者名
      松崎孝介, 谷口雅弥, 乾健太郎, 坂口慶祐
    • 学会等名
      言語処理学会第30回年次大会論文集
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 長文生成の多面的評価:人手評価と自動評価の向上を目指して2024

    • 著者名/発表者名
      鴨田豪, 浅井明里, BrassardAna, 坂口慶祐
    • 学会等名
      言語処理学会第30回年次大会論文集
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 大規模言語モデルにおける日本語ゼロ照応解析能力の分析2024

    • 著者名/発表者名
      野末慎之介, 石月由紀子, 松林優一郎, 坂口慶祐
    • 学会等名
      言語処理学会第30回年次大会論文集
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Hagi bot: LLMを用いた対話状態追跡と人間らしい振る舞いで自然な議論を行うマルチモーダル対話システム2023

    • 著者名/発表者名
      中野雄斗, 野末慎之介, 穀田一真, 有山知希, 佐藤魁, 曾根周作, 亀井遼平, 謝素春, 成田風香, 守屋彰二, 赤間怜奈, 松林優一郎, 坂口慶祐
    • 学会等名
      人工知能学会研究会資料 言語・音声理解と対話処理研究会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] テキストに基づくダイアグラム生成タスクの提案2023

    • 著者名/発表者名
      吉田遥音, 工藤慧音, 青木洋一, 坂口慶祐
    • 学会等名
      NLP若手の会 第18回シンポジウム
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 日本語学習のための形態意味中心の動詞活用2023

    • 著者名/発表者名
      松崎孝介, 谷口雅弥, 坂口慶祐, 乾健太郎
    • 学会等名
      NLP若手の会 第18回シンポジウム
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 大規模言語モデルにおける暗黙の推論生成能力の評価2023

    • 著者名/発表者名
      根岸直生, 坂口慶祐, 乾健太郎
    • 学会等名
      第22回情報科学技術フォーラム(FIT2023)
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Empirical Investigation of Neural Symbolic Reasoning Strategies2023

    • 著者名/発表者名
      Yoichi Aoki, Keito Kudo, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi, and Kentaro Inui
    • 学会等名
      Findings of the Association for Computational Linguistics: EACL 2023
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning?2023

    • 著者名/発表者名
      Keito Kudo, Yoichi Aoki, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi, and Kentaro Inui
    • 学会等名
      Proceedings of the 2023 Conference of the European Chapter of the Association for Computational Linguistics
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Test-time Augmentation for Factual Probing2023

    • 著者名/発表者名
      Go Kamoda, Benjamin Heinzerling, Keisuke Sakaguchi, Kentaro Inui
    • 学会等名
      言語処理学会第29回年次大会(NLP2023)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] ニューラル記号推論における推論過程の教示方法2023

    • 著者名/発表者名
      青木洋一, 工藤慧音, Ana Brassard, 栗林樹生, 吉川将司, 坂口慶祐, 乾健太郎
    • 学会等名
      言語処理学会第29回年次大会(NLP2023)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Towards grammatically-informed feedback comments2023

    • 著者名/発表者名
      Diana Galvan-Sosa, Steven Coyne, 坂口慶祐, 乾健太郎
    • 学会等名
      言語処理学会第29回年次大会(NLP2023)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 算術問題におけるニューラルモデルの構成的推論能力2023

    • 著者名/発表者名
      工藤慧音, 青木洋一, 栗林樹生, Ana Brassard, 吉川将司, 坂口慶祐, 乾健太郎
    • 学会等名
      言語処理学会第29回年次大会(NLP2023)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 因果的プロンプトによる NLI の敵対的ロバスト性の強化2023

    • 著者名/発表者名
      Pride Kavumba, Ana Brassard, Benjamin Heinzerling, 坂口慶祐, 乾健太郎
    • 学会等名
      言語処理学会第29回年次大会(NLP2023)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Developing a Typology for Language Learning Feedback2023

    • 著者名/発表者名
      Steven Coyne, Diana Galvan-Sosa, 坂口慶祐, 乾健太郎
    • 学会等名
      言語処理学会第29回年次大会(NLP2023)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Twist Decoding: Diverse Generators Guide Each Other2022

    • 著者名/発表者名
      Jungo Kasai, Keisuke Sakaguchi, Ronan Le Bras, Hao Peng, Ximing Lu, Dragomir Radev, Yejin Choi, Noah A. Smith
    • 学会等名
      Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Large Language Models: What will happen next?2022

    • 著者名/発表者名
      Keisuke Sakaguchi
    • 学会等名
      2022 BrainLink X-Lab Day, Korean Federation of Science and Technology Societies (KOFST)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会 / 招待講演
  • [備考] RealTime QA

    • URL

      https://realtimeqa.github.io/

    • 関連する報告書
      2023 実施状況報告書
  • [学会・シンポジウム開催] Hugging Face x TohokuNLP Joint Workshop2023

    • 関連する報告書
      2023 実施状況報告書

URL: 

公開日: 2022-08-30   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi