• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of communication support technology for people with severe motor dysfunction by fusion of real brain with artificial intelligence.

Research Project

Project/Area Number 18H03142
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 59010:Rehabilitation science-related
Research InstitutionNational Institute of Advanced Industrial Science and Technology

Principal Investigator

Hasegawa Ryohei, P.  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 上級主任研究員 (00392647)

Co-Investigator(Kenkyū-buntansha) 松本 有央  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究グループ長 (00392663)
稗田 一郎  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (10357832)
Project Period (FY) 2018-04-01 – 2021-03-31
Project Status Completed (Fiscal Year 2020)
Budget Amount *help
¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000)
Fiscal Year 2020: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
Fiscal Year 2019: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
Fiscal Year 2018: ¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
KeywordsBrain-Machine Interface / 脳波 / 事象関連電位 / 意思伝達 / 福祉機器 / 意思決定 / 人工知能 / パターン識別 / BMI/BCI / Artificial Intelligence / 意思伝達支援 / 重度運動機能障がい者 / BMI / EEG / ERP / BMI
Outline of Final Research Achievements

We have been developing a brain-machine interface (BMI) system "Neurocommunicator" to support communication for people with severe motor dysfunction. In this study, we examined the feasibility of a hybrid BMI by fusion of real brain-based Neurocommunicator with artificial intelligence (AI). We worked on the following sub-themes to achieve this goal; (1) needs survey in communication situations of assumed users, (2) development of a module to grasp the context by voice recognition of talk from the helpers/family members to the users, (3) development of a module to propose message candidates according to the context, (4) development of a module to select an emotion for a selected message, and (5) development of a module to express the emotion by a facial expression of the CG avatar of the user.

Academic Significance and Societal Importance of the Research Achievements

進行性の神経難病や脳卒中等が原因で運動機能に重度な障害を呈する障がい者が多数存在する。そのような方々の中には、たとえ感覚機能や認知機能が正常であったとしても運動機能が極度に低下しまったために書字や発話などによる意思伝達が困難な場合がある。そうなると日常生活動作だけでなく他者とのコミュニケーションも不自由となり、介護者への要求が伝わらなかったり、家族との交流が断たれたりしてしまい、QOLが著しく低下する。本研究によって、脳波BMI技術とAI技術を効果的に融合した意思伝達装置を実用化することによって重度運動機能障がい者のQOLの向上に加えて社会活動への参加の機会を増やしていきたいと考えている。

Report

(4 results)
  • 2020 Annual Research Report   Final Research Report ( PDF )
  • 2019 Annual Research Report
  • 2018 Annual Research Report
  • Research Products

    (29 results)

All 2021 2020 2019 2018

All Journal Article (7 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 7 results,  Open Access: 6 results) Presentation (19 results) (of which Int'l Joint Research: 2 results,  Invited: 7 results) Book (2 results) Patent(Industrial Property Rights) (1 results)

  • [Journal Article] Development of the Cognitive Training System by the Event-related Potential2021

    • Author(s)
      HASEGAWA Ryohei P.、NAKAMURA Yoshiko、ATOBE Yuumi、TAKEHARA Mayuko
    • Journal Title

      Transactions of Japan Society of Kansei Engineering

      Volume: 20 Issue: 1 Pages: 49-57

    • DOI

      10.5057/jjske.TJSKE-D-20-00034

    • NAID

      130007992134

    • ISSN
      1884-0833, 1884-5258
    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Construction of a Classical Music Database for Research Purposes in the Field of Kansei Evaluation2021

    • Author(s)
      YAMAMOTO Hiroto S.、TAKEHARA Mayuko S.、MATSUMOTO Narihisa、HASEGAWA Ryohei P.
    • Journal Title

      Transactions of Japan Society of Kansei Engineering

      Volume: 20 Issue: 2 Pages: 205-212

    • DOI

      10.5057/jjske.TJSKE-D-20-00070

    • NAID

      130008031873

    • ISSN
      1884-0833, 1884-5258
    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Comparison of neuronal responses in primate inferior-temporal cortex and feed-forward deep neural network model with regard to information processing of faces2021

    • Author(s)
      Matsumoto Narihisa、Mototake Yoh-ichi、Kawano Kenji、Okada Masato、Sugase-Miyamoto Yasuko
    • Journal Title

      Journal of Computational Neuroscience

      Volume: - Issue: 3 Pages: 1-7

    • DOI

      10.1007/s10827-021-00778-5

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Assessment of the Visuo-spatial Cognitive Function by the Discrimination Task of the Figure’s Rotation Angle2020

    • Author(s)
      TAKEHARA Mayuko、SAWAHATA Hirohito、HASEGAWA Ryohei P.
    • Journal Title

      Transactions of Japan Society of Kansei Engineering

      Volume: 19 Issue: 3 Pages: 263-268

    • DOI

      10.5057/jjske.TJSKE-D-19-00072

    • NAID

      130007893602

    • ISSN
      1884-0833, 1884-5258
    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Properties of the Event-Related Potentials during the Target Selection Task2020

    • Author(s)
      HASEGAWA Ryohei P.、NAKAMURA Yoshiko
    • Journal Title

      Transactions of Japan Society of Kansei Engineering

      Volume: 19 Issue: 1 Pages: 89-96

    • DOI

      10.5057/jjske.TJSKE-D-19-00033

    • NAID

      130007803296

    • ISSN
      1884-0833, 1884-5258
    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Neural Prediction of the Target "to BUY" or "NOT to BUY" by the ERP- based Cognitive BMI.2019

    • Author(s)
      HASEGAWA Ryohei P.、NAKAMURA Yoshiko、HASEGAWA Yukako T.、SAWAHATA Hirohito
    • Journal Title

      International Symposium on Affective Science and Engineering

      Volume: ISASE2019 Issue: 0 Pages: 1-4

    • DOI

      10.5057/isase.2019-C000043

    • NAID

      130007656877

    • ISSN
      2433-5428
    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Modulation of Event-related Potential by Purchase Intention2019

    • Author(s)
      長谷川 良平、中村 美子、長谷川 由香子、澤畑 博人
    • Journal Title

      Transactions of Japan Society of Kansei Engineering

      Volume: 18 Issue: 1 Pages: 105-111

    • DOI

      10.5057/jjske.TJSKE-D-18-00047

    • NAID

      130007605189

    • ISSN
      1884-0833, 1884-5258
    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] 脳波による脳トレ競技 「bスポーツ」 の可能性について - ロボットアバターを用いた 対戦競技の実施報告 -2021

    • Author(s)
      長谷川 良平、竹原 繭子、山本 泰豊
    • Organizer
      第16回日本感性工学会春季大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 脳波スイッチを用いた 脳情報活用サービスの実用化に向けて2021

    • Author(s)
      長谷川 良平
    • Organizer
      第 1 5 回 つくばビジネスマッチング会
    • Related Report
      2020 Annual Research Report
    • Invited
  • [Presentation] Development of an EEG-based cognitive assessment system, "Neurodetector," using a pattern recognition for detection of event-related potentials.2021

    • Author(s)
      Mayuko Takehara, Hiroto Yamamoto and Ryohei P. Hasegawa
    • Organizer
      The 7th International Society of Affective Science and Engineering (ISASE 2021)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Development of an EEG-based biomarker for cognitive assessment.2020

    • Author(s)
      Ryohei P. Hasegawa, Nakamura Yoshiko and Mayuko Takehara
    • Organizer
      第43回日本神経科学大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] Development of an EEG-based cognitive assessment system: using a spatial cognitive task.2020

    • Author(s)
      Mayuko Takehara and Ryohei P. Hasegawa
    • Organizer
      第43回日本神経科学大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 事象関連電位による 認知機能訓練 システムの開発 - 高齢者の認知症予防向けアクティビティへの応用を目指して -2020

    • Author(s)
      長谷川 良平,中村 美子,跡部 悠未,竹原 繭子
    • Organizer
      第22回日本感性工学大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] Neurodetector as a Mind Switch to Find Mind2020

    • Author(s)
      Ryohei P. Hasegawa, Mayuko Takeharaand Hiroto Yamamoto
    • Organizer
      Research Studio powered by SPARK 2020 International Symposium Online
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] 脳波スイッチによる認知課題の開発- 健康脳維持に向けた“bスポーツ”への応用を目指して -2020

    • Author(s)
      長谷川良平、中村美子、長谷川由香子、跡部悠未
    • Organizer
      第15回日本感性工学会春季大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 脳波スイッチを用いた脳情報活用サービスの実用化に向けて2020

    • Author(s)
      長谷川 良平
    • Organizer
      NEDOシンポジウム「AI&ROBOT NEXT」、革新的ロボット要素技術分野講演
    • Related Report
      2019 Annual Research Report
  • [Presentation] 脳波テレパシー技術の開発とその臨床/産業応用 ~リアル脳と人工知能とロボットの融合~2019

    • Author(s)
      長谷川 良平
    • Organizer
      東京理科大学脳学際研究部門 第3回公開シンポジウム 「脳の理科(サイエンス)~脳の謎に挑む」
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Presentation] 小型無線脳波計を用いたBrain-Machine Interface技術の開発 ~ 意思伝達支援から認知機能/感性評価まで ~2019

    • Author(s)
      長谷川 良平
    • Organizer
      ナノエレクトロニクス計測分析技術研究会
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Presentation] 脳波BMIにもとづく医工学応用技術の開発 ~ 認知症の早期評価、改善、予防に向けて ~2019

    • Author(s)
      長谷川 良平
    • Organizer
      つくば医工連携フォーラム2020
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Presentation] 宇宙飛行士の船外活動を支援する脳波/眼電スイッチの開発~ハンズフリーで意思伝達が可能なテレパシー装置の実用化に向けて~2019

    • Author(s)
      長谷川良平
    • Organizer
      いばらき宇宙ビジネスサミット2019
    • Related Report
      2019 Annual Research Report
  • [Presentation] 高速脳波技術を用いた脳情報活用産業の創出2019

    • Author(s)
      長谷川 良平
    • Organizer
      NEDO革新的ロボット要素技術マッチングイベント
    • Related Report
      2018 Annual Research Report
  • [Presentation] 脳波計測による人の意志推定とその産業応用2019

    • Author(s)
      長谷川 良平
    • Organizer
      トリケップスセミナー
    • Related Report
      2018 Annual Research Report
    • Invited
  • [Presentation] リアル脳と人工知能とロボットを融合させた新しいコミュニケーションスタイルの提案  ~ 重度運動機能障がい者向けの脳波テレパシー装置を出発点として ~2018

    • Author(s)
      長谷川 良平
    • Organizer
      2018年電子情報通信学会 ソサイティ大会
    • Related Report
      2018 Annual Research Report
    • Invited
  • [Presentation] 脳波による意思伝達装置「ニューロコミュニケーター」の開発 ―人工知能技術を利用したコミュニケーションの円滑化―2018

    • Author(s)
      中村 美子・長谷川 良平
    • Organizer
      第20回日本感性工学会大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 脳波による意思伝達装置「ニューロコミュニケーター」の開発 ―人工知能技術を利用したコミュニケーション支援―2018

    • Author(s)
      中村 美子・長谷川 良平
    • Organizer
      第4回産総研・人間情報研究部門シンポジウム
    • Related Report
      2018 Annual Research Report
  • [Presentation] 高速脳波技術を用いた脳情報活用産業の創出2018

    • Author(s)
      長谷川 良平
    • Organizer
      諏訪圏工業メッセ2018
    • Related Report
      2018 Annual Research Report
  • [Book] Bio-information for Hygiene2021

    • Author(s)
      Ryohei P. Hasegawa et al. (Hiroki Takada and Kiyoko Yokoyama, Eds.)
    • Total Pages
      161
    • Publisher
      Springer Singapore
    • ISBN
      9789811521607
    • Related Report
      2020 Annual Research Report
  • [Book] 生体情報計測による感情の可視化技術2020

    • Author(s)
      長谷川良平ほか(技術情報協会企画編集)
    • Total Pages
      391
    • Publisher
      技術情報協会
    • ISBN
      9784861047831
    • Related Report
      2020 Annual Research Report
  • [Patent(Industrial Property Rights)] 入力装置、入力方法及び入力システム2018

    • Inventor(s)
      長谷川 良平
    • Industrial Property Rights Holder
      産業技術総合研究所
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2018-136723
    • Filing Date
      2018
    • Related Report
      2018 Annual Research Report

URL: 

Published: 2018-04-23   Modified: 2022-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi