• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2021 年度 実績報告書

テクストの数理的モデリングと、数理モデルを通したテクストらしさの解明への挑戦

研究課題

研究課題/領域番号 20J22697
研究機関東北大学

研究代表者

栗林 樹生  東北大学, 情報科学研究科, 特別研究員(DC1)

研究期間 (年度) 2020-04-24 – 2023-03-31
キーワード自然言語処理 / 計算心理言語学 / 深層学習 / 人工知能
研究実績の概要

昨年度に引き続き,ヒトがテクストを読む際の逐次的処理のモデルについて,自然言語処理分野の技術を活用して探求した.昨年度の研究では,工学的に用いられる大規模言語モデルとヒトの文処理の間に乖離を確認していた.今年度は,心理言語学分野の知見と紐付けながら,この乖離を埋める方法について調査した.本課題について一定の知見が得られており,おおむね順調に研究が進んでいる.
当初の計画では,テクスト(複数の文からなる文章)レベルの処理について焦点を当てる予定であったが,その手前の段階として一文ごとの処理に着目した場合にも,ヒトと工学的モデルの間で乖離が生じることが分かった.これを踏まえ,今年度は文レベルの処理に重きをおいた研究となった.並行して文章レベルの処理についても,主題化や省略といった観点について,ヒトと言語モデルの振る舞いを対照させる分析を行ってきた.
今年度の研究成果については国内最大規模の学会(自然言語処理学会第28回年次大会)で発表した.今後さらに国際学会への投稿も予定している.また,昨年度の研究成果について当該分野で最も権威ある国際学会(ACL2021)で発表を行った.これらの研究は,心理言語学的な視点からは,ヒトの言語処理の数理的モデルの解明と位置づけられる一方,工学的な視点からはブラックボックスな機械の言語処理の機序を,ヒトと照らし合わせて分析する営みとも捉えられる.工学的な言語処理モデルの分析に関連して,大規模言語モデルをホワイトボックス化する研究や,これらのモデルの説明性を向上させる研究にも共著者として関わった (TACL2021,EMNLP2021,自然言語処理学会第28回年次大会受賞).

現在までの達成度 (段落)

翌年度、交付申請を辞退するため、記入しない。

今後の研究の推進方策

翌年度、交付申請を辞退するため、記入しない。

  • 研究成果

    (7件)

すべて 2022 2021 その他

すべて 雑誌論文 (2件) (うち査読あり 2件、 オープンアクセス 2件) 学会発表 (4件) (うち国際学会 1件) 備考 (1件)

  • [雑誌論文] Lower Perplexity is Not Always Human-Like2021

    • 著者名/発表者名
      Kuribayashi Tatsuki、Oseki Yohei、Ito Takumi、Yoshida Ryo、Asahara Masayuki、Inui Kentaro
    • 雑誌名

      Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing

      巻: - ページ: 5203-5217

    • DOI

      10.18653/v1/2021.acl-long.405

    • 査読あり / オープンアクセス
  • [雑誌論文] Incorporating Residual and Normalization Layers into Analysis of Masked Language Models2021

    • 著者名/発表者名
      Kobayashi Goro、Kuribayashi Tatsuki、Yokoi Sho、Inui Kentaro
    • 雑誌名

      Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing

      巻: - ページ: 4547-4568

    • DOI

      10.18653/v1/2021.emnlp-main.373

    • 査読あり / オープンアクセス
  • [学会発表] ニューラル言語モデルの過剰な作業記憶2022

    • 著者名/発表者名
      栗林樹生
    • 学会等名
      言語処理学会第28回年次大会
  • [学会発表] Transformerにおけるフィードフォワードネットの作用2022

    • 著者名/発表者名
      小林悟郎
    • 学会等名
      言語処理学会第28回年次大会
  • [学会発表] 情報量に基づく日本語項省略の分析.2022

    • 著者名/発表者名
      石月由紀子
    • 学会等名
      言語処理学会第28回年次大会
  • [学会発表] Lower Perplexity is Not Always Human-Like2021

    • 著者名/発表者名
      Tatsuki Kuribayashi
    • 学会等名
      59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing
    • 国際学会
  • [備考] 言葉を処理するAIは人のように「読み滞る」か 高性能なAIと人の認知の間に乖離を確認

    • URL

      https://www.tohoku.ac.jp/japanese/2021/08/press20210819-03-ai.html

URL: 

公開日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi