Multimodal Deep Learning Framework for Intelligent Brain Computer Interface System

2018 年度 研究成果報告書

• 研究課題/領域番号: 17K13279
• 研究種目: 若手研究(B)
• 配分区分: 基金
• 研究分野: 脳計測科学
• 研究機関: 株式会社国際電気通信基礎技術研究所
• 研究代表者: Penaloza C. 株式会社国際電気通信基礎技術研究所, 石黒浩特別研究所, 連携研究員 (80753532)
• 研究協力者: ヘルナンデス カルモナ デービッド
• 研究期間 (年度): 2017-04-01 – 2019-03-31
• キーワード: BMI / ロボット / 脳波 / EEG

研究成果の概要

本研究では、視覚データ、および脳データの相関関係を学習するためにマルチモーダルアプローチを使用するBMIシステムを開発した。このシステムは、ユーザーが物を掴むなどの動作を想像すると、動きを制御し実行させる人間のようなロボットアームを用いる。物体認識機能により、物の形状に合わせ、アームが自動的に握り方をユーザーの意図に合わせ変化させることを可能にした。
さらに、脳のデータから物体の視覚画像を復号する方法を提案した。この方法では、ディープラーニングによって、脳のデータとオブジェクト画像の符号化共同表現学習を行う。システムの学習後、脳内データ符号化のみが提供され、対象画像を再構成することを可能にした。

自由記述の分野

ブレインマシンインターフェース

研究成果の学術的意義や社会的意義

A brain machine interface is a technology that will revolutionize the way people interact with external devices in the future. In this research, our system can be used to augment the capabilities of users to perform multiple tasks by controlling an intelligent semi-autonomous robotic arm.