• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Construction and evaluation of neurocomputational models of natural language

Publicly Offered Research

Project AreaCorrespondence and Fusion of Artificial Intelligence and Brain Science
Project/Area Number 19H04990
Research Category

Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)

Allocation TypeSingle-year Grants
Review Section Complex systems
Research InstitutionThe University of Tokyo (2020)
Waseda University (2019)

Principal Investigator

大関 洋平  東京大学, 大学院総合文化研究科, 講師 (10821994)

Project Period (FY) 2019-04-01 – 2021-03-31
Project Status Completed (Fiscal Year 2020)
Budget Amount *help
¥9,620,000 (Direct Cost: ¥7,400,000、Indirect Cost: ¥2,220,000)
Fiscal Year 2020: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
Fiscal Year 2019: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Keywords記号的生成モデル / 深層ニューラルネットワーク / 眼球運動 / 再帰的ニューラルネットワーク文法 / トランスフォーマー文法 / 言語 / 神経計算モデル / 人工知能 / 脳科学 / 認知科学 / 言語処理 / 計算認知神経科学 / 神経計算モデリング / 脳磁図 / 脳波 / 皮質脳波 / 確率オートマトン / 人工ニューラルネットワーク / オートマトン / ニューラルネットワーク
Outline of Research at the Start

言語を対象とする人工知能研究である自然言語処理と言語を対象とする脳科学研究である言語神経生物学の間には乖離が指摘されてきた。しかしながら、これら計算・神経基盤は独立して発展してきたにも関わらず、モジュールから成るネットワークを形成しているという点で酷似しており、両者の融合が望まれる。そこで、本研究では、オートマトンおよびニューラルネットワークに基づく神経計算モデルを構築し、「脳磁図」(MEG)および「皮質脳波」(ECoG)を組み合わせた神経活動データで検証することで、言語の計算・神経基盤を解明することを目的とする。

Outline of Annual Research Achievements

本研究では、記号的生成モデルおよび深層ニューラルネットワークに基づく神経計算モデルを構築し、脳情報処理データで検証することで、自然言語の計算システムを解明することを目的としています。新型コロナウイルス感染症の影響により、脳磁場および皮質脳波による新規の脳情報処理データこそ完成しませんでしたが、眼球運動による既存の認知処理データを用いて、記号的生成モデルと再帰的ニューラルネットワークを融合した深層生成モデルである再帰的ニューラルネットワーク文法(Recurrent Neural Network Grammar)が、純粋な再帰的ニューラルネットワークと比べて人間らしいことを示し、更に並列処理による高速化を実現しました。また、アテンション機構を備えた大規模な深層ニューラルネットワークであるトランスフォーマー(Transformer)が、工学的には世界最高性能を達成しているにも関わらず、強力すぎる作業記憶を持つため人間らしくないことを示し、加えて記号的生成モデルとトランスフォーマーを融合した深層生成モデルであるトランスフォーマー文法(Transformer Grammar)を開発しています。以上の研究成果は、自然言語処理のトップカンファレンスであるACLおよびEMNLPにて、3本の論文として発表・出版しています。
なお、本研究課題は、JSTさきがけ「信頼されるAIの基盤技術」領域「認知・脳情報処理による人間らしい言語処理モデルの開発」へと発展しています。

Research Progress Status

令和2年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和2年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2020 Annual Research Report
  • 2019 Annual Research Report
  • Research Products

    (24 results)

All 2022 2021 2020 2019 Other

All Int'l Joint Research (1 results) Journal Article (9 results) (of which Int'l Joint Research: 3 results,  Peer Reviewed: 9 results,  Open Access: 9 results) Presentation (4 results) (of which Int'l Joint Research: 3 results,  Invited: 4 results) Remarks (9 results) Funded Workshop (1 results)

  • [Int'l Joint Research] New York University/University of Georgia(米国)

    • Related Report
      2019 Annual Research Report
  • [Journal Article] Learning Argument Structures with Recurrent Neural Network Grammars2022

    • Author(s)
      Yoshida Ryo、Oseki Yohei
    • Journal Title

      Proceedings of the Society for Computation in Linguistics 2022

      Volume: - Pages: 101-111

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] What is the role of the next generation of cognitive robotics?2021

    • Author(s)
      Shimoda Shingo、Jamone Lorenzo、Ognibene Dimitri、Nagai Takayuki、Sciutti Alessandra、Costa-Garcia Alvaro、Oseki Yohei、Taniguchi Tadahiro
    • Journal Title

      Advanced Robotics

      Volume: 36 Issue: 1-2 Pages: 3-16

    • DOI

      10.1080/01691864.2021.2011780

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars2021

    • Author(s)
      Yoshida Ryo、Noji Hiroshi、Oseki Yohei
    • Journal Title

      Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing

      Volume: - Pages: 2964-2973

    • DOI

      10.18653/v1/2021.emnlp-main.235

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Lower Perplexity is Not Always Human-Like2021

    • Author(s)
      Kuribayashi Tatsuki、Oseki Yohei、Ito Takumi、Yoshida Ryo、Asahara Masayuki、Inui Kentaro
    • Journal Title

      Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)

      Volume: - Pages: 5203-5217

    • DOI

      10.18653/v1/2021.acl-long.405

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Effective Batching for Recurrent Neural Network Grammars2021

    • Author(s)
      Noji Hiroshi、Oseki Yohei
    • Journal Title

      Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021

      Volume: 1 Pages: 4340-4352

    • DOI

      10.18653/v1/2021.findings-acl.380

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Towards the fusion of artificial intelligence and brain science of natural language2021

    • Author(s)
      Yohei Oseki, Tadahiro Taniguchi
    • Journal Title

      Neuroscience Research

      Volume: -

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Modeling Morphological Processing in Human Magnetoencephalography2020

    • Author(s)
      Yohei Oseki, Alec Marantz
    • Journal Title

      Proceedings of the Society for Computation in Linguistics (SCiL)

      Volume: - Pages: 209-219

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Design of BCCWJ-EEG: Balanced Corpus with Human Electroencephalography2020

    • Author(s)
      Yohei Oseki, Masayuki Asahara
    • Journal Title

      Proceedings of the International Conference on Language Resources and Evaluation (LREC)

      Volume: - Pages: 189-194

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Modeling Human Morphological Competence2020

    • Author(s)
      Yohei Oseki, Alec Marantz
    • Journal Title

      Frontiers in Psychology

      Volume: -

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] Cognitive computational neuroscience of language processing2021

    • Author(s)
      Yohei Oseki
    • Organizer
      Workshop on Mechanism of Brain and Mind
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Construction and evaluation of neurocomputational models of natural language2019

    • Author(s)
      Yohei Oseki
    • Organizer
      RIKEN CBS Workshop: Theory towards Brains, Machines and Minds
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Construction and evaluation of neurocomputational models of natural language2019

    • Author(s)
      Yohei Oseki
    • Organizer
      NII Shonan Meeting: Language as Goal-Directed Sequential Behavior
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] 言語の神経計算モデルの構築と検証2019

    • Author(s)
      大関洋平
    • Organizer
      生体医工学会マルチモーダル脳情報応用技術研究会
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Remarks] 人工知能と脳科学の対照と融合

    • URL

      http://www.brain-ai.jp/jp/

    • Related Report
      2020 Annual Research Report
  • [Remarks] 東京大学 大学院総合文化研究科 大関研究室

    • URL

      http://phiz.c.u-tokyo.ac.jp/~oseki/

    • Related Report
      2020 Annual Research Report
  • [Remarks] 東京大学 未来社会協創推進本部 AIイニシアティブ

    • URL

      https://www.u-tokyo.ac.jp/adm/fsi/ja/projects/ai/

    • Related Report
      2020 Annual Research Report
  • [Remarks] 言葉を処理するAIは人のように「読み滞る」か?

    • URL

      https://www.tohoku.ac.jp/japanese/2021/08/press20210819-03-ai.html

    • Related Report
      2020 Annual Research Report
  • [Remarks] 機械に人間らしく言葉を使わせるためには?

    • URL

      https://yumenavi.info/vue/lecture.html?GNKCD=g011513

    • Related Report
      2020 Annual Research Report
  • [Remarks] 大関洋平

    • URL

      https://researchmap.jp/oseki

    • Related Report
      2019 Annual Research Report
  • [Remarks] 大関研究室

    • URL

      http://phiz.c.u-tokyo.ac.jp/~oseki/index.html

    • Related Report
      2019 Annual Research Report
  • [Remarks] 東京大学

    • URL

      https://www.u-tokyo.ac.jp/focus/ja/people/k0001_03173.html

    • Related Report
      2019 Annual Research Report
  • [Remarks] 東京大学総合文化研究科

    • URL

      https://www.c.u-tokyo.ac.jp/info/research/faculty/list/lis/f024863.html

    • Related Report
      2019 Annual Research Report
  • [Funded Workshop] Computational Psycholinguistics Tokyo (CPT)2019

    • Related Report
      2019 Annual Research Report

URL: 

Published: 2019-04-18   Modified: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi