Building General Language Understanding Infrastructure by Fusing Computational and Human Intelligence

• Project/Area Number: 21H04901
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Waseda University
• Principal Investigator: 河原 大輔 早稲田大学, 理工学術院, 教授 (10450694)
• Co-Investigator(Kenkyū-buntansha): 笹野 遼平 名古屋大学, 情報学研究科, 准教授 (70603918) ; 鈴木 潤 東北大学, データ駆動科学・AI教育研究センター, 教授 (80396150)
• Project Period (FY): 2021-04-05 – 2025-03-31
• Project Status: Completed (Fiscal Year 2023)
• Budget Amount: ¥41,600,000 (Direct Cost: ¥32,000,000、Indirect Cost: ¥9,600,000); Fiscal Year 2023: ¥10,530,000 (Direct Cost: ¥8,100,000、Indirect Cost: ¥2,430,000); Fiscal Year 2022: ¥10,530,000 (Direct Cost: ¥8,100,000、Indirect Cost: ¥2,430,000); Fiscal Year 2021: ¥10,400,000 (Direct Cost: ¥8,000,000、Indirect Cost: ¥2,400,000)
• Keywords: 言語理解 / 転移学習 / 言語知識 / 説明性 / 深層学習 / 基盤モデル

Outline of Research at the Start

BERTに代表される事前学習付き深層ニューラルネットワーク「計算知」によって、様々な自然言語理解タスクの精度が向上した。しかし、計算知はテキスト中の単語共起のみに基づいており、計算機が「真に言語を理解すること」および「出力の理由を説明すること」が実現できていない。そのため、計算知を実応用で用いるにはコストとリスクが高いという大きな問題がある。本研究では、これまで人間が知識を記述してきた「人知」を計算知に統合することによって、人間の脳のような汎用言語理解基盤を創出する。

Outline of Annual Research Achievements

2023年度は以下の研究項目について研究を行った。
人知・計算知のデザインおよび計算知の構築に関して、知識グラフなどの人知を自然言語として表現し、それを計算知(言語モデル)に融合する手法を考案した。これはLoRA (Low-Rank Adaptation)とMoE (Mixture of Experts)を統合した手法であり、常識推論タスクにおける実験によって有効性を確認した。また、知識の言語転移の原理を分析するために意味的プロービングデータセットを構築するとともに、ドメイン知識の学習について分析するために、川柳や漢詩文を用いた実験を進めた。
人に近い文章理解の実現に関する研究として、文の意味を空間上の分布として表現することで、文の持つ意味の広がりや包含関係などを捉えた文の意味表現方法を考案し、含意関係にある2文の含意の方向性を自然に扱えることを実験的に示した。また、大規模言語モデル(LLM)により自動生成したNLIデータを用いた、LLMベースの文埋め込みの改良にも取り組み、自動生成したNLIデータの有用性を明らかにした。さらに、人に近い文章理解の可能性を検証するため、早押しクイズの解答システムの構築に取り組んだ。
言語モデルの解釈性に関する研究として、否定的な意味を持つ単語が入力文に含まれる場合に、言語モデルの推論能力が顕著に低減する現象があることを実験的に示した。また、一般的なニューラルネットワークに対する解釈手法である特徴量帰属法の中で著名な方法である統合勾配法が、言語モデルなどの言語を扱うモデルに対して利用する場合に数値計算上の問題が発生する可能性が高い点を実験的に示し、その対応策を考案した。

Research Progress Status

令和5年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和5年度が最終年度であるため、記入しない。

Research Products

• [Int'l Joint Research] MBZUAI(アラブ首長国連邦)
• [Journal Article] Reading and Translating Classical Chinese in Japanese Methods by Language Models (2024)
  • Author(s): 王昊, 清水博文, 河原大輔
  • Journal Title: Journal of Natural Language Processing Volume: 31 Issue: 1 Pages: 134-154
  • DOI: 10.5715/jnlp.31.134
  • ISSN: 1340-7619, 2185-8314
  • Peer Reviewed / Open Access
• [Journal Article] Sentence Embeddings using Definition Sentences (2023)
  • Author(s): 塚越駿, 笹野遼平, 武田浩一
  • Journal Title: Journal of Natural Language Processing Volume: 30 Issue: 1 Pages: 125-155
  • DOI: 10.5715/jnlp.30.125
  • ISSN: 1340-7619, 2185-8314
  • Peer Reviewed / Open Access
• [Presentation] Sentence Representations via Gaussian Embedding (2024)
  • Author(s): Shohei Yoda, Hayato Tsukagoshi, Ryohei Sasano, and Koichi Takeda
  • Organizer: EACL 2024
  • Int'l Joint Research
• [Presentation] The Impact of Integration Step on Integrated Gradients (2024)
  • Author(s): Masahiro Makino, Yuya Asazuma, Shota Sasaki, Jun Suzuki
  • Organizer: EACL 2024 Student Research Workshop
  • Int'l Joint Research
• [Presentation] おもしろい川柳の生成 (2024)
  • Author(s): 太田聖三郎, 河原大輔, 野村理朗
  • Organizer: 言語処理学会 第30回年次大会
• [Presentation] 意味的プロービングデータセットの構築と言語モデルの評価: イタリア語の倒置を例に (2024)
  • Author(s): 今井咲良, Giovanni Pasa, 小田博宗, 折田奈甫, 河原大輔
  • Organizer: 言語処理学会 第30回年次大会
• [Presentation] 大規模言語モデル開発における日本語Web文書のフィルタリング手法の検証 (2024)
  • Author(s): 榎本倫太郎, Tolmachev Arseny, 新妻巧朗, 栗田修平, 河原大輔
  • Organizer: 言語処理学会 第30回年次大会
• [Presentation] 知識志向Mixture of LoRA Expertsの構築 (2024)
  • Author(s): 伊藤俊太朗, 河原大輔
  • Organizer: 言語処理学会 第30回年次大会
• [Presentation] 文脈内学習における文脈内事例の寄与度推定 (2024)
  • Author(s): 葉夢宇, 栗林樹生, 小林悟郎, 鈴木潤
  • Organizer: 言語処理学会 第30回年次大会
• [Presentation] 自動生成したNLIデータを用いた教師なし文埋め込みの改良 (2024)
  • Author(s): 佐藤蒼馬, 塚越駿, 笹野遼平, 武田浩一
  • Organizer: 言語処理学会 第30回年次大会
• [Presentation] LLMの進展と日本語LLMの構築・評価 (2024)
  • Author(s): 河原大輔
  • Organizer: 2024年1月音声研究会・音声言語情報処理研究会
  • Invited
• [Presentation] Co-evolution of Japanese Large Language Models and Language Understanding Benchmarks (2024)
  • Author(s): Daisuke Kawahara
  • Organizer: 電子情報通信学会 2024年3月思考と言語研究会
  • Invited
• [Presentation] Kanbun-LM: Reading and Translating Classical Chinese in Japanese Methods by Language Models (2023)
  • Author(s): Hao Wang, Hirofumi Shimizu, and Daisuke Kawahara
  • Organizer: Findings of ACL 2023
  • Int'l Joint Research
• [Presentation] Building a Buzzer-Quiz Answering System (2023)
  • Author(s): Naoya Sugiura, Kosuke Yamada, Ryohei Sasano, Koichi Takeda, and Katsuhiko Toyama
  • Organizer: ACL 2023 Student Research Workshop
  • Int'l Joint Research
• [Presentation] Theoretical Linguistics Rivals Embeddings in Language Clustering for Multilingual Named Entity Recognition (2023)
  • Author(s): Sakura Imai, Daisuke Kawahara, Naho Orita, and Hiromune Oda
  • Organizer: ACL 2023 Student Research Workshop
  • Int'l Joint Research
• [Presentation] Assessing Step-by-Step Reasoning against Lexical Negation: A Case Study on Syllogism (2023)
  • Author(s): Mengyu Ye, Tatsuki Kuribayashi, Jun Suzuki, Goro Kobayashi, Hiroaki Funayama
  • Organizer: EMNLP 2023
  • Int'l Joint Research
• [Presentation] 機械学習を用いた川柳の面白さの予測 (2023)
  • Author(s): 太田聖三郎, 河原大輔, 野村理朗
  • Organizer: 日本認知科学会第40回大会
• [Presentation] 非言語データを用いた対照学習による文埋め込み学習の日本語における効果検証 (2023)
  • Author(s): 清水博文, 河原大輔
  • Organizer: 人工知能学会全国大会(第37回)
• [Presentation] 日本語BERTにおけるトークナイザの違いによる影響の検証 (2023)
  • Author(s): 伊藤俊太朗, 河原大輔
  • Organizer: 人工知能学会全国大会(第37回)
• [Presentation] 多段階転移学習による不完全発話補完の精度向上 (2023)
  • Author(s): 尹子旗, 河原大輔
  • Organizer: 人工知能学会全国大会(第37回)
• [Presentation] 日本語大規模言語モデルと言語理解ベンチマークの共進化 (2023)
  • Author(s): 河原大輔
  • Organizer: 自動車技術会エレクトロニクス部門委員会 9月公開委員会
  • Invited
• [Presentation] 日本語大規模言語モデルと言語理解ベンチマークの共進化 (2023)
  • Author(s): 河原大輔
  • Organizer: 第35回CSワークショップ
  • Invited
• [Presentation] 日本語大規模言語モデルと言語理解ベンチマークの共進化 (2023)
  • Author(s): 河原大輔
  • Organizer: 医療情報学連合大会 共同企画7 「医学医療におけるAI応用」
  • Invited
• [Presentation] 大規模言語モデルの進展と利活用 (2023)
  • Author(s): 河原大輔
  • Organizer: 第37回光通信システムシンポジウム ワークショップ1 「国際社会が直面する課題と解決策 ～SDGs 達成に向けたイノベーション～」
  • Invited
• [Presentation] 日本語WiCデータセットの構築と読みづらさ検出への応用 (2023)
  • Author(s): 吉田あいり, 河原大輔
  • Organizer: 言語処理学会 第29回年次大会
• [Presentation] 機械学習を用いた川柳の面白さの予測 (2023)
  • Author(s): 太田聖三郎, 河原大輔, 野村理朗
  • Organizer: 言語処理学会 第29回年次大会
• [Presentation] 言語モデルを用いた漢文の返り点付与と書き下し文生成 (2023)
  • Author(s): 王昊, 清水博文, 河原大輔
  • Organizer: 言語処理学会 第29回年次大会
• [Presentation] 事前学習モデルに基づく日本語形態素解析器における辞書の利用 (2023)
  • Author(s): 田村稔行, 河原大輔
  • Organizer: 言語処理学会 第29回年次大会
• [Presentation] 理論言語学の知見を応用した多言語クラスタリング (2023)
  • Author(s): 今井咲良, 河原大輔, 折田奈甫, 小田博宗
  • Organizer: 言語処理学会 第29回年次大会
• [Presentation] 日本語の分類タスクにおけるカリキュラム学習とマルチタスク学習の効果検証 (2023)
  • Author(s): 植松拓也, 河原大輔
  • Organizer: 言語処理学会 第29回年次大会
• [Presentation] 日本語BigBirdの構築 (2023)
  • Author(s): 近藤瑞希, 王昊, 井手竜也, 伊藤俊太朗, Ritvik Choudhary, 栗原健太郎, 河原大輔
  • Organizer: 言語処理学会 第29回年次大会 併設ワークショップ 日本語言語資源の構築と利用性の向上(JLR2023)
• [Presentation] 思考連鎖指示における大規模言語モデルの否定表現理解 (2023)
  • Author(s): 葉夢宇, 栗林樹生, 舟山弘晃, 鈴木潤
  • Organizer: 言語処理学会 第29回年次大会
• [Presentation] XAIにおける忠実性評価手法の考察 (2023)
  • Author(s): 牧野雅紘, 浅妻佑弥, 佐々木翔大, 鈴木潤
  • Organizer: 言語処理学会 第29回年次大会
• [Presentation] Automating Interlingual Homograph Recognition with Parallel Sentences (2022)
  • Author(s): Yi Han, Ryohei Sasano, Koichi Takeda
  • Organizer: Findings of the Association for Computational Linguistics: AACL-IJCNLP 2022
  • Int'l Joint Research
• [Presentation] Comparison and Combination of Sentence Embeddings Derived from Different Supervision Signals (2022)
  • Author(s): Hayato Tsukagoshi, Ryohei Sasano, Koichi Takeda
  • Organizer: the 11th Joint Conference on Lexical and Computational Semantics (*SEM 2022)
  • Int'l Joint Research
• [Presentation] 構造的曖昧性に基づく読みづらさの検出 (2022)
  • Author(s): 吉田あいり, 河原大輔
  • Organizer: 言語処理学会 第28回年次大会
• [Presentation] 日本語転移学習モデルにおける事前学習コーパスのフィルタリング (2022)
  • Author(s): 渡邊亞椰, 河原大輔
  • Organizer: 言語処理学会 第28回年次大会 併設ワークショップ 日本語における評価用データセットの構築と利用性の向上(JED2022)
• [Presentation] DefSent: Sentence Embeddings using Definition Sentences (2021)
  • Author(s): Hayato Tsukagoshi, Ryohei Sasano, Koichi Takeda
  • Organizer: the Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021)
  • Int'l Joint Research
• [Remarks] 日本語RoBERTa large
  • URL: https://huggingface.co/nlp-waseda/roberta-large-japanese
• [Remarks] 日本語RoBERTa base
  • URL: https://huggingface.co/nlp-waseda/roberta-base-japanese
• [Remarks] 日本語GPT2 small
  • URL: https://huggingface.co/nlp-waseda/gpt2-small-japanese