2014 Fiscal Year Research-status Report
同期的脳活動パターンと会話情報に基づくコミュニケーション支援BMIの開発
| Project/Area Number |
26730146
|
|---|
| Research Institution | Advanced Telecommunications Research Institute International |
|---|
Principal Investigator |
小川 剛史 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究員 (10614323)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 脳計測 / コミュニケーション / 複数人 / NIRS / BMI |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、二者間の自然なコミュニケーションにおける脳活動の同期的パターンに会話情報から抽出されるトピックや感情などのタグを付与した会話タグ付き脳活動データベースを構築することである。初年度の平成26年度は、EEG-NIRSの同時計測システムを構築し、単純なコミュニケーション課題でのデータ計測を行い、脳活動の機能的結合から被験者の心的状態の識別法の確立およびシステム全体の妥当性について評価を行うために、以下の2つのことを重点的に遂行した。
①EEG-NIRSの2人同時計測システムの構築：NIRSおよびEEGの同時計測を2人の被験者に対して行い、複数被験者の実験で用いられる、協調・競合課題を用いた二者間コミュニケーション中の脳活動を計測するシステムの構築が当初の計画であった。しかし、複数人でのより自然な状態での脳活動を計測するために、実環境実験設備において、携帯型NIRS-EEG脳活動計測器を用いた実験環境の構築を試みた。
②協調・競合課題を用いた二者間コミュニケーションとシステム全体の妥当性の評価：日常的なシーンでの円滑なコミュニケーションを対象としているため、一般住宅を模した日常生活実験設備にて実験を行った。実環境における協調・競合課題として、オセロ、ジェンガ（積み木）、調理を行っている際の脳活動（NIRS）計測と同時に、その時の行動をウェアラブルカメラを用いて撮影し、行動ラベルを付加したタグ付き脳活動データベースを構築した。動作に基づく脳活動からの動作識別を行い、実環境内の機器を制御するBMIを開発した。この研究成果については国内・外での学会発表、ならびに国際会議への論文投稿を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初予定していた実験環境の構築が、計測器の不具合などによって計画通りに行うことが出来なかったが、別途、構築した複数台の携帯型脳活動計測器を用いる環境に変更して実験環境を構築し、実験を実施ことが出来た。また、実環境におけるコミュニケーション課題の実験設計を行い、それに基づく計測実験の実施と、その際の脳活動に行動のタグを付与したデータベースを構築することができたため、おおむね順調に進展していると考えられる。被験者個人の主観的視点情報としてウェアラブルカメラの画像をもとに行動のタグ付けを行っているが、音声も同時に計測できているため、コミュニケーションに関わる会話情報の抽出も行うことが出来ると考えられる。
また、脳活動のラグを含む時空間パターンを特徴量としてSVMで識別する手法を用いて少々の時間的誤差も吸収できる動作識別のためのBMIシステムを開発した。この手法をコミュニケーション中の脳活動にも適用することが可能であることが考えられる。
|
| Strategy for Future Research Activity |
まず、携帯型NIRS計測器を用いたコミュニケーション課題中の同期的脳活動パターンの抽出を、構築したデータベースを用いて行う。次に、2人の被験者でのコミュニケーション中の内的心理状態についての脳情報解読をNIRSおよびEEGを用いて研究を進める。その中で、実験的環境の中で作成された脳活動の解読器が、実環境の中でも汎化するかどうか検証する。まず、第1段階として、1人の内的心理状態の可視化を行うことで、個人の感情・情動状態を他人に知らせるためのシステムを構築する。もう1人の被験者は、相手の内的心理状態を考慮しながら、コミュニケーション課題を行う。その際の会話・行動に関するデータは同時に計測し、データベースに登録する。
|
-
-
-
[Presentation] Decoding daily behaviors from NIRS signatures by using a portable NIRS device in the daily-life environment2014
Author(s)
Ogawa T, Gupta KP, Yano K, Abdur-Rahim JA, Morioka H, Hirayama J, Yamaguchi S, Ishikawa A, Inoue Y, Kawanabe M, Ishii S
Organizer
Society for Neuroscience 2014
Place of Presentation
Washington DC, USA
Year and Date
2014-11-15 – 2014-11-19
-
[Presentation] Decoding daily-life behavioral signatures in the real environment: portable NIRS signal using behavior labels2014
Author(s)
Ogawa T, Gupta KP, Yano K, Abdur-Rahim JA, Morioka H, Hirayama J, Yamaguchi S, Ishikawa A, Inoue Y, Kawanabe M, Ishii S
Organizer
37th Annual Meeting of the Japan Neuroscience Society
Place of Presentation
パシフィコ横浜（神奈川県）
Year and Date
2014-09-11 – 2014-09-13
-
