• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2019 Fiscal Year Research-status Report

ヒト脳情報を統合した個性を有する人工知能システムの開発

Research Project

Project/Area Number 18K18141
Research InstitutionNational Institute of Information and Communications Technology

Principal Investigator

西田 知史  国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (90751933)

Project Period (FY) 2018-04-01 – 2021-03-31
Keywords人工知能 / 深層学習 / 畳み込みニューラルネット / 転移学習 / 脳 / fMRI
Outline of Annual Research Achievements

これまでにfMRI実験において収集した69名分の脳活動データに基づき、任意の視聴覚情報を深層学習に入力したうえで、いったん脳情報を介して、入力と結びついた認知ラベルを推定する手法の開発と改良を行った。特定の課題で訓練した機械学習のモデルを、別の課題に適用する枠組みを転移学習と呼ぶが、本手法は、脳情報を仲介して機械学習モデルの転移学習を行う方法論とみなせるため「脳媒介転移学習(Brain-mediated transfer learning; BTL)」と名付けた。そして、BTLを用いることで、脳情報を介さない既存の深層学習の転移学習との比較において、様々な課題(映像コンテンツ知覚の推定、映像から受ける印象の推定、Web広告に対する再生完了率等の推定、TV広告に対する好感度の推定、など)で推定精度の向上(汎化性能の向上)がもたらされることを実データによる検証で示した。また精度の向上は、脳情報が有効な推定課題(脳情報単独で推定を行った際に高い精度を示す課題)であるほど顕著に見られることが分かり、脳情報を既存の機械学習モデルに上手く結びつけて、モデルの情報表現を強化していることを示した。以上の成果を、人工知能分野のトップ会議の一つである国際会議AAAI(北米人工知能学会)、および国内学会の人工知能学会全国大会で発表した。その際、聴衆から高い評価を得たとともに、成果がメディアなどでも取り上げられた。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の予定通り技術開発に成功し、その成果が権威ある国際学会に採択されて発表を行ったことから、研究は順調に進んでいるといえる。また、開発技術が個性の適用可能か検証するための心理データ収集も完了し、多角的な検証をすでに進めていることから、来年度に本研究が目指した最終的な成果を得ることが十分に期待できる。

Strategy for Future Research Activity

収集した心理データを基に、開発技術が知覚・認知の個人差を反映可能であることを検証する。また、そのような反映をより強くするための、技術の改良も進める。

Causes of Carryover

脳活動計測のためのMRI実験および知覚の個人差を評価するための心理実験のデータについて、別目的において予め取得していたデータを流用可能となり、データ取得のために必要となったはずの実験被験者謝金が不要となったため、次年度使用額が生じた。それについては、本研究で開発した技術の発展を目的とした、様々な派生技術の開発のために必要となるMRI実験および心理実験の被験者謝金等として利用することを計画している。

  • Research Products

    (19 results)

All 2020 2019 Other

All Journal Article (3 results) (of which Open Access: 3 results,  Peer Reviewed: 1 results) Presentation (15 results) (of which Int'l Joint Research: 8 results,  Invited: 2 results) Remarks (1 results)

  • [Journal Article] Expert programmers have fine-tuned cortical representations of source code2020

    • Author(s)
      Ikutani Yoshiharu、Kubo Takatomi、Nishida Satoshi、Hata Hideaki、Matsumoto Kenichi、Ikeda Kazushi、Nishimoto Shinji
    • Journal Title

      bioRxiv

      Volume: - Pages: -

    • DOI

      10.1101/2020.01.28.923953

    • Open Access
  • [Journal Article] Relational Network of People Constructed on the Basis of Similarity of Brain Activities2019

    • Author(s)
      Shinkuma Ryoichi、Nishida Satoshi、Kado Masataka、Maeda Naoya、Nishimoto Shinji
    • Journal Title

      IEEE Access

      Volume: 7 Pages: 110258~110266

    • DOI

      10.1109/ACCESS.2019.2933990

    • Peer Reviewed / Open Access
  • [Journal Article] Brain-mediated Transfer Learning of Convolutional Neural Networks2019

    • Author(s)
      Satoshi Nishida, Yusuke Nakano, Antoine Blanc, Naoya Maeda, Masataka Kado, Shinji Nishimoto
    • Journal Title

      arXiv

      Volume: - Pages: -

    • Open Access
  • [Presentation] Brain-mediated Transfer Learning of Convolutional Neural Networks2020

    • Author(s)
      Nishida S, Nakano Y, Blanc, A, Maeda N, Kado M, Nishimoto S
    • Organizer
      Thirty-Fourth AAAI Conference on Artificial Intelligence
    • Int'l Joint Research
  • [Presentation] DX時代の最先端技術 消費者感性を予測する脳解読基盤「NeuroAI」: 脳情報とAIの融合2020

    • Author(s)
      西田知史
    • Organizer
      NTT DATA Innovation Conference 2020
    • Invited
  • [Presentation] 統合失調症における脳内意味ネットワーク異常:エンコーディングモデルとグラフ理論解析を用いて2020

    • Author(s)
      松本有紀子, 西田知史, 孫樹洛, 村上晶郎, 吉川長伸, 林隆介, 西本伸志, 高橋英彦
    • Organizer
      脳と心のメカニズム第20回冬のワークショップ
  • [Presentation] Toward Identifying the Neural Basis of Programming Expertise: an fMRI Study with Expert Programmers2020

    • Author(s)
      Ikutani Y, Kubo T, Nishida S, Hata H, Matsumoto K, Ikeda K, Nishimoto S
    • Organizer
      脳と心のメカニズム第20回冬のワークショップ
  • [Presentation] Deep transfer learning mediated by human brain information2020

    • Author(s)
      Nishida S, Nakano Y, Blanc A, Maeda N, Kado M, Nishimoto S
    • Organizer
      脳と心のメカニズム第20回冬のワークショップ
  • [Presentation] Towards the decoding of human natural perception for real-world applications2019

    • Author(s)
      Nishida S
    • Organizer
      Applying Neuroscience to Business
    • Int'l Joint Research / Invited
  • [Presentation] A Study on a Correlation between a Predictive Model of Motion Pictures Imitating the Predictive Coding of the Cerebral Cortex and Brain Activity2019

    • Author(s)
      Fujiyama C, Nishimoto S, Nishida S, Asoh H, Kobayashi I
    • Organizer
      2019 Conference on Cognitive Computational Neuroscience
    • Int'l Joint Research
  • [Presentation] Analysis of Correspondence Relationship between Brain Activity and Semantic Representation2019

    • Author(s)
      Ozaki K, Nishida S, Nishimoto S, Asoh H, Kobayashi I
    • Organizer
      2019 Conference on Cognitive Computational Neuroscience
    • Int'l Joint Research
  • [Presentation] Toward Identifying the Neural Basis of Programming Expertise: an fMRI Study with Expert Programmers2019

    • Author(s)
      Ikutani Y, Kubo T, Nishida S, Hata H, Matsumoto K, Ikeda K, Nishimoto S
    • Organizer
      APSIPA BioSiPS Workshop 2019
    • Int'l Joint Research
  • [Presentation] Abnormal semantic network in the schizophrenia brain: an encoding modeling and graph theoretic approach2019

    • Author(s)
      Matsumoto Y, Nishida S, Son S, Murakami A, Yoshikawa N, Hayashi R, Nishimoto S, Takahashi H
    • Organizer
      第42回日本神経科学大会
  • [Presentation] Genetic contribution to inter-individual differences in human natural audio-visual experiences2019

    • Author(s)
      Toyoda S, Nishida S, Honda C, Watanabe M, Ollikainen M, Vuoksimaa E, Kaprio J, Osaka Twin Research Group, Nishimoto S
    • Organizer
      The 2019 Behavior Genetics Association Meeting
    • Int'l Joint Research
  • [Presentation] Functional subdivisions around FEF revealed by multi-modal modeling of movie-evoked activity2019

    • Author(s)
      Yamaguchi H, Nishida S, Nakai T, Nishimoto S
    • Organizer
      2019 Organization for Human Brain Mapping Annual Meeting
    • Int'l Joint Research
  • [Presentation] Schizophrenia reduces intra- and inter-individual diversity of semantic representations in the brain2019

    • Author(s)
      Nishida S, Matsumoto Y, Yoshikawa N, Son S, Murakami A, Hayashi R, Takahashi H, Nishimoto S
    • Organizer
      2019 Organization for Human Brain Mapping Annual Meeting
    • Int'l Joint Research
  • [Presentation] 脳内情報表現の融合による深層学習ネットワークの認識能力向上2019

    • Author(s)
      西田知史, 西本伸志
    • Organizer
      第33回人工知能学会全国大会
  • [Presentation] 深層学習を用いた動画刺激時の脳活動データからの文生成2019

    • Author(s)
      張嘉瑩, 西田知史, 西本伸志, 小林 一郎
    • Organizer
      第33回人工知能学会全国大会
  • [Remarks] 西田 知史 (Satoshi Nishida)

    • URL

      https://sites.google.com/site/satnishida/

URL: 

Published: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi