• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

テクストの数理的モデリングと、数理モデルを通したテクストらしさの解明への挑戦

Research Project

Project/Area Number 20J22697
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Review Section Basic Section 61030:Intelligent informatics-related
Research InstitutionTohoku University

Principal Investigator

栗林 樹生  東北大学, 情報科学研究科, 特別研究員(DC1)

Project Period (FY) 2020-04-24 – 2023-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥2,800,000 (Direct Cost: ¥2,800,000)
Fiscal Year 2021: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2020: ¥1,000,000 (Direct Cost: ¥1,000,000)
Keywords自然言語処理 / 計算心理言語学 / 深層学習 / 人工知能 / 認知科学 / ニューラルネットワーク
Outline of Research at the Start

言語処理技術の応用として,文の流暢さの自動評価があげられる.言語処理では一文を単位とした評価が主流であるが,日本語の「は」と「が」の使い分けなどに始まり,テクスト (文章) のレベルで議論される自然さの観点は数多く存在する.このようなテクストのレベルの自然さについて,言語処理システムが妥当に判断可能であるか明らかではない.本研究では,テクストらしさの観点から言語処理システムの分析・改良を行い,更には,超大規模データで学習したテクスト数理モデルを通して,テクストらしさに関する知見の帰納的な発見を試みる.テクストの持つ性質として,情報体系,主題体系,結束性,談話構造などに焦点を当てる予定である.

Outline of Annual Research Achievements

昨年度に引き続き,ヒトがテクストを読む際の逐次的処理のモデルについて,自然言語処理分野の技術を活用して探求した.昨年度の研究では,工学的に用いられる大規模言語モデルとヒトの文処理の間に乖離を確認していた.今年度は,心理言語学分野の知見と紐付けながら,この乖離を埋める方法について調査した.本課題について一定の知見が得られており,おおむね順調に研究が進んでいる.
当初の計画では,テクスト(複数の文からなる文章)レベルの処理について焦点を当てる予定であったが,その手前の段階として一文ごとの処理に着目した場合にも,ヒトと工学的モデルの間で乖離が生じることが分かった.これを踏まえ,今年度は文レベルの処理に重きをおいた研究となった.並行して文章レベルの処理についても,主題化や省略といった観点について,ヒトと言語モデルの振る舞いを対照させる分析を行ってきた.
今年度の研究成果については国内最大規模の学会(自然言語処理学会第28回年次大会)で発表した.今後さらに国際学会への投稿も予定している.また,昨年度の研究成果について当該分野で最も権威ある国際学会(ACL2021)で発表を行った.これらの研究は,心理言語学的な視点からは,ヒトの言語処理の数理的モデルの解明と位置づけられる一方,工学的な視点からはブラックボックスな機械の言語処理の機序を,ヒトと照らし合わせて分析する営みとも捉えられる.工学的な言語処理モデルの分析に関連して,大規模言語モデルをホワイトボックス化する研究や,これらのモデルの説明性を向上させる研究にも共著者として関わった (TACL2021,EMNLP2021,自然言語処理学会第28回年次大会受賞).

Research Progress Status

翌年度、交付申請を辞退するため、記入しない。

Strategy for Future Research Activity

翌年度、交付申請を辞退するため、記入しない。

Report

(2 results)
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • Research Products

    (14 results)

All 2022 2021 2020 Other

All Journal Article (4 results) (of which Peer Reviewed: 4 results,  Open Access: 4 results) Presentation (9 results) (of which Int'l Joint Research: 1 results) Remarks (1 results)

  • [Journal Article] Lower Perplexity is Not Always Human-Like2021

    • Author(s)
      Kuribayashi Tatsuki、Oseki Yohei、Ito Takumi、Yoshida Ryo、Asahara Masayuki、Inui Kentaro
    • Journal Title

      Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)

      Volume: - Pages: 5203-5217

    • DOI

      10.18653/v1/2021.acl-long.405

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Incorporating Residual and Normalization Layers into Analysis of Masked Language Models2021

    • Author(s)
      Kobayashi Goro、Kuribayashi Tatsuki、Yokoi Sho、Inui Kentaro
    • Journal Title

      Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing

      Volume: - Pages: 4547-4568

    • DOI

      10.18653/v1/2021.emnlp-main.373

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Language Models as an Alternative Evaluator of Word Order Hypotheses: A Case Study in Japanese2020

    • Author(s)
      Tatsuki Kuribayashi, Takumi Ito, Jun Suzuki, Kentaro Inui
    • Journal Title

      Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics

      Volume: 1 Pages: 488-504

    • DOI

      10.18653/v1/2020.acl-main.47

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Langsmith: An Interactive Academic Text Revision System2020

    • Author(s)
      Takumi Ito, Tatsuki Kuribayashi, Masatoshi Hidaka, Jun Suzuki and Kentaro Inui
    • Journal Title

      In proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP-2020, system demonstration track)

      Volume: - Pages: 216-226

    • DOI

      10.18653/v1/2020.emnlp-demos.28

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] ニューラル言語モデルの過剰な作業記憶2022

    • Author(s)
      栗林樹生
    • Organizer
      言語処理学会第28回年次大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Transformerにおけるフィードフォワードネットの作用2022

    • Author(s)
      小林悟郎
    • Organizer
      言語処理学会第28回年次大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 情報量に基づく日本語項省略の分析.2022

    • Author(s)
      石月由紀子
    • Organizer
      言語処理学会第28回年次大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Lower Perplexity is Not Always Human-Like2021

    • Author(s)
      Tatsuki Kuribayashi
    • Organizer
      59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 予測の正確な言語モデルがヒトらしいとは限らない2021

    • Author(s)
      栗林樹生, 大関洋平, 伊藤拓海, 吉田遼,浅原正幸, 乾健太郎
    • Organizer
      言語処理学会第27回年次大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 日本語の読みやすさに対する情報量に基づいた統一的な解釈2021

    • Author(s)
      栗林樹生, 大関洋平, 伊藤拓海, 吉田遼,浅原正幸, 乾健太郎
    • Organizer
      言語処理学会第27回年次大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] Langsmith: 人とシステムの協働による論文執筆2021

    • Author(s)
      伊藤拓海, 栗林樹生, 日高雅俊, 鈴木潤, 乾健太郎
    • Organizer
      言語処理学会第27回年次大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 人と言語モデルが捉える文の主題2021

    • Author(s)
      藤原吏生, 栗林樹生, 乾健太郎
    • Organizer
      言語処理学会第27回年次大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] Transformerの文脈を混ぜる作用と混ぜない作用2021

    • Author(s)
      小林悟郎, 栗林樹生, 横井祥, 乾健太郎
    • Organizer
      言語処理学会第27回年次大会
    • Related Report
      2020 Annual Research Report
  • [Remarks] 言葉を処理するAIは人のように「読み滞る」か 高性能なAIと人の認知の間に乖離を確認

    • URL

      https://www.tohoku.ac.jp/japanese/2021/08/press20210819-03-ai.html

    • Related Report
      2021 Annual Research Report

URL: 

Published: 2020-07-07   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi