• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Annual Research Report

テクストの数理的モデリングと、数理モデルを通したテクストらしさの解明への挑戦

Research Project

Project/Area Number 20J22697
Research InstitutionTohoku University

Principal Investigator

栗林 樹生  東北大学, 情報科学研究科, 特別研究員(DC1)

Project Period (FY) 2020-04-24 – 2023-03-31
Keywords自然言語処理 / 計算心理言語学 / 深層学習 / 人工知能
Outline of Annual Research Achievements

昨年度に引き続き,ヒトがテクストを読む際の逐次的処理のモデルについて,自然言語処理分野の技術を活用して探求した.昨年度の研究では,工学的に用いられる大規模言語モデルとヒトの文処理の間に乖離を確認していた.今年度は,心理言語学分野の知見と紐付けながら,この乖離を埋める方法について調査した.本課題について一定の知見が得られており,おおむね順調に研究が進んでいる.
当初の計画では,テクスト(複数の文からなる文章)レベルの処理について焦点を当てる予定であったが,その手前の段階として一文ごとの処理に着目した場合にも,ヒトと工学的モデルの間で乖離が生じることが分かった.これを踏まえ,今年度は文レベルの処理に重きをおいた研究となった.並行して文章レベルの処理についても,主題化や省略といった観点について,ヒトと言語モデルの振る舞いを対照させる分析を行ってきた.
今年度の研究成果については国内最大規模の学会(自然言語処理学会第28回年次大会)で発表した.今後さらに国際学会への投稿も予定している.また,昨年度の研究成果について当該分野で最も権威ある国際学会(ACL2021)で発表を行った.これらの研究は,心理言語学的な視点からは,ヒトの言語処理の数理的モデルの解明と位置づけられる一方,工学的な視点からはブラックボックスな機械の言語処理の機序を,ヒトと照らし合わせて分析する営みとも捉えられる.工学的な言語処理モデルの分析に関連して,大規模言語モデルをホワイトボックス化する研究や,これらのモデルの説明性を向上させる研究にも共著者として関わった (TACL2021,EMNLP2021,自然言語処理学会第28回年次大会受賞).

Research Progress Status

翌年度、交付申請を辞退するため、記入しない。

Strategy for Future Research Activity

翌年度、交付申請を辞退するため、記入しない。

  • Research Products

    (7 results)

All 2022 2021 Other

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (4 results) (of which Int'l Joint Research: 1 results) Remarks (1 results)

  • [Journal Article] Lower Perplexity is Not Always Human-Like2021

    • Author(s)
      Kuribayashi Tatsuki、Oseki Yohei、Ito Takumi、Yoshida Ryo、Asahara Masayuki、Inui Kentaro
    • Journal Title

      Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing

      Volume: - Pages: 5203-5217

    • DOI

      10.18653/v1/2021.acl-long.405

    • Peer Reviewed / Open Access
  • [Journal Article] Incorporating Residual and Normalization Layers into Analysis of Masked Language Models2021

    • Author(s)
      Kobayashi Goro、Kuribayashi Tatsuki、Yokoi Sho、Inui Kentaro
    • Journal Title

      Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing

      Volume: - Pages: 4547-4568

    • DOI

      10.18653/v1/2021.emnlp-main.373

    • Peer Reviewed / Open Access
  • [Presentation] ニューラル言語モデルの過剰な作業記憶2022

    • Author(s)
      栗林樹生
    • Organizer
      言語処理学会第28回年次大会
  • [Presentation] Transformerにおけるフィードフォワードネットの作用2022

    • Author(s)
      小林悟郎
    • Organizer
      言語処理学会第28回年次大会
  • [Presentation] 情報量に基づく日本語項省略の分析.2022

    • Author(s)
      石月由紀子
    • Organizer
      言語処理学会第28回年次大会
  • [Presentation] Lower Perplexity is Not Always Human-Like2021

    • Author(s)
      Tatsuki Kuribayashi
    • Organizer
      59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing
    • Int'l Joint Research
  • [Remarks] 言葉を処理するAIは人のように「読み滞る」か 高性能なAIと人の認知の間に乖離を確認

    • URL

      https://www.tohoku.ac.jp/japanese/2021/08/press20210819-03-ai.html

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi