• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2018 Fiscal Year Research-status Report

ヒト脳情報を統合した個性を有する人工知能システムの開発

Research Project

Project/Area Number 18K18141
Research InstitutionNational Institute of Information and Communications Technology

Principal Investigator

西田 知史  国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 研究員 (90751933)

Project Period (FY) 2018-04-01 – 2021-03-31
Keywords人工知能 / 機械学習 / 深層学習 / パターン認識 / 意味認知 / 感性 / 脳 / fMRI
Outline of Annual Research Achievements

映像視聴時の脳活動を計測するための機能的磁気共鳴画像法(fMRI)実験を実施し、予定より多くの67名の被験者から脳活動を取得した。予定より多く取得を行った理由は、脳活動の数理モデル化を用いて個人差を検証するにあたり、当初の予定より多量のデータが必要と判断したためである。また並行して、映像に対する認知ラベル付けを心理実験と外注サービスを利用して実施し、意味カテゴリラベルと感性評定ラベルを取得した。取得した脳活動と認知ラベルのペアデータに対して数理モデル化手法(符号化・復号化モデリング)を適用し、任意の映像入力から脳活動を予測する数理モデルと、予測した脳活動から認知ラベルを推定する数理モデルの学習を、被験者一人ひとりのデータに対して実施した。その結果、学習したモデルから構築した脳情報融合型パターン認識システム(NeuroAI)を用いることにより、任意の映像から認知ラベルを推定する問題において、高い精度を出せることが分かった。また、NeuroAIの推定精度は、既存の機械学習技術(例:深層学習)を用いた推定の精度よりも高いことが示され、人間の脳を介することで脳特有の情報表現が付加され、より人間らしい認知ラベルの推定問題において、精度向上をもたらすことが示唆された。これらの成果を、国際学会(Vision Science Society Annual Meeeting 2018)および国内学会(人工知能学会2018年全国大会)などにおいて発表し、聴衆から高い評価を得た。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

研究計画で1年目から2年目半ばまでに予定していた内容を達成することができ、また脳活動計測においては予定していたよりも多くのデータを取得できたため、当初の計画以上に進展していると判断した。

Strategy for Future Research Activity

被験者ごとに構築したNeuroAIが推定した認知ラベルが、被験者一人ひとりの知覚の個人差を反映するか検証を行う。そのためには、同被験者から認知ラベルを取得するための心理実験の実施が必要となる。NeuroAIの構築手法においても精緻化を行い、さらなる精度向上も必要である。また、信頼性の高い検証のために、脳活動データを追加することも計画に含めている。さらに、意味カテゴリラベルと感性評定ラベルの推定にとどまらず、他の種類の認知ラベルの取得も行い、NeuroAIの応用範囲の拡張も試みる。

Causes of Carryover

前年度までに実施を終了していた別の外部資金で調達した装置を、想定以上に本研究で流用して利用できたため、予定使用額に対して特に物品費で余剰が生じた。繰り越した助成金は、翌年度分の助成金と合わせて、さらなる研究の加速のため、計算資源や実験装置などの物品購入のために利用を計画している。

  • Research Products

    (9 results)

All 2019 2018

All Journal Article (2 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 2 results) Presentation (7 results) (of which Int'l Joint Research: 3 results,  Invited: 3 results)

  • [Journal Article] Describing Semantic Representations of Brain Activity Evoked by Visual Stimuli2018

    • Author(s)
      Matsuo Eri、Kobayashi Ichiro、Nishimoto Shinji、Nishida Satoshi、Asoh Hideki
    • Journal Title

      Proceedings of 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC)

      Volume: - Pages: 576-583

    • DOI

      10.1109/SMC.2018.00107

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Decoding naturalistic experiences from human brain activity via distributed representations of words2018

    • Author(s)
      Nishida Satoshi、Nishimoto Shinji
    • Journal Title

      NeuroImage

      Volume: 180 Pages: 232~242

    • DOI

      10.1016/j.neuroimage.2017.08.017

    • Peer Reviewed / Int'l Joint Research
  • [Presentation] 自然な知覚状況下におけるヒト脳内情報の可視化とその応用2019

    • Author(s)
      西田知史
    • Organizer
      本田技術研究所 講演会
    • Invited
  • [Presentation] Brain decoding of human natural perception using statistical language modeling2019

    • Author(s)
      Nishida S
    • Organizer
      The 5th CiNet Conference: Computation and representation in brains and machines
    • Int'l Joint Research / Invited
  • [Presentation] 脳情報の可視化とその応用2019

    • Author(s)
      西田知史
    • Organizer
      神戸大学計算科学教育センター遠隔講義 計算生命科学の基礎V 計算科学・データサイエンスと生命科学の融合 基礎から医療・創薬への応用まで
    • Invited
  • [Presentation] fMRI evidence for the disorganization of semantic representation in the schizophrenia brain2019

    • Author(s)
      Nishida S, Matsumoto Y, Yoshikawa N, Son S, Murakami A, Hayashi R, Takahashi H, Nishimoto S
    • Organizer
      脳と心のメカニズム第19回冬のワークショップ
  • [Presentation] Modeling human visual responses with a U-shaped deep neural network for motion flow-field estimation2018

    • Author(s)
      Atsushi Wada, Satoshi Nishida, Hiroshi Ando, Shinji Nishimoto
    • Organizer
      2018 Conference on Cognitive Computational Neuroscience
    • Int'l Joint Research
  • [Presentation] U字型深層ニューラルネットワークを用いたヒト視覚応答のモデル化2018

    • Author(s)
      和田充史, 西田知史, 安藤広志, 西本伸志
    • Organizer
      日本視覚学会2018年夏季大会
  • [Presentation] Genetic contributions to individuality of natural audio-visual experiences2018

    • Author(s)
      Shunsuke Toyoda, Satoshi Nishida, Chika Honda, Mikio Watanabe, Osaka Twin Research Group, Shinji Nishimoto
    • Organizer
      Toward Understanding “INDIVIDUALITY“
    • Int'l Joint Research

URL: 

Published: 2019-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi