2022 Fiscal Year Annual Research Report
| Project/Area Number |
21H03536
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | NTT Communication Science Laboratories |
|---|
Principal Investigator |
堀川 友慈 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 特別研究員 (60721876)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 感情 / 脳情報デコーディング / 深層ニューラルネットワーク / fMRI |
|---|
| Outline of Annual Research Achievements |
本研究はヒトの脳における多様な感情の神経基盤を調べることを目的として，画像や動画などの視覚刺激や，発声音や音楽などの聴覚刺激など，感情を惹起するさまざまな感覚刺激を提示した時の脳活動を機能的磁気共鳴画像法により計測し，脳情報デコーディングなどの多変量解析によって脳活動から推定される感情の脳情報表現を定量化することを試みる研究である．これまでに，感情を惹起する動画や，さまざまな感情を表した顔の表情画像・動画，音楽，発声音（短い発声音，感情的ニュアンスを伴ったスピーチ）などの刺激素材に関して，それぞれ2000超試行にわたる刺激提示の脳活動計測を終えており，スコアのデコーディング解析やスコアからの脳活動解析を行った．その結果，いずれの刺激モダリティに関しても，感情のスコアを有意な精度で予測できることを確認できた．特に視覚の刺激モダリティでは，シーン動画に関しても顔の表情画像に関しても，視覚野だけではなく，側頭葉や前頭葉など，広範な部位からスコアの予測ができることが確認できた．一方で，音刺激に対する脳活動の解析では，主に聴覚野を中心に，比較的狭い領域からのみ高い成績が得られた．これらの結果は，異なる刺激にモダリティに基づく感情の情報表現が，異なる脳部位によって表現されている可能性を示唆している．さらに，先行研究において課題となっていた，一人称的な感情体験と三人称的な感情体験の違いについて深く調べるため，脳計測実験の被験者本人がつけた感情のラベルを使った脳活動解析をして，他人がつけた感情ラベルに基づく脳活動解析の結果と比較することにより，側頭頭頂皮質付近など，先行研究において感情との関連が強いことが示唆された脳部位において，特に本人の感情ラベルを用いた時の解析結果が優れていることが確認できた．この結果は先行研究において示された側頭頭頂皮質と感情の関連性をより強く示唆するものといえる．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度には，研究期間開始と同時に所属の変更があり，さらにコロナ禍における実験実施の制約が生じたため，実験開始が遅れてしまっていたが，2年目には，複数の刺激モダリティの刺激素材を使った脳計測実験や，一人称・三人称の違いを考慮した脳情報表現の解析など，順調に研究を進めることができた．また，安定した実験・解析環境の構築も概ね完了したため，3年目以降は，当初の予定通り，deep neural networkなどの人工知能モデルなどを用いて，脳の情報表現との違いを詳しく検証するとともに，対外的にも学会発表などを積極的に推し進めていくことができると見込まれる．
|
| Strategy for Future Research Activity |
3年目は，2年目までに収集した音声データを中心に解析を進めるとともに，追加のデータの収集を継続して進めていく．解析では，音声情報処理に特化した機械のモデルや，複数のモダリティのデータを使って学習したマルチモーダルなモデルの特徴量を利用して，脳と機械のモデルの感情に関する情報表現の調査を進める．音のデータの解析では，既に収集済みである，短い発声音の刺激と感情的ニュアンスを伴ったスピーチの刺激の二種類の刺激に対する脳活動データを使って，それぞれのデータ内での感情スコアのデコーディング精度や感情スコアからの脳活動予測精度の検証を行う．さらに，それぞれのデータで訓練したモデルを使ってもう一方のデータに対する汎化成績を調べることで，刺激の種類によらずに感情の予測や感情からの脳活動予測ができる脳部位を特定する．同様の解析を，視覚と聴覚のモダリティの刺激間で行うことで，刺激モダリティによらない感情の脳情報表現を調べる．さらに，機械のモデルを使った脳活動予測で高い精度が得られることが確認できた場合には，機械のモデルと脳活動とをつなぐ一つのネットワークをもとに，特定の脳部位の活動を最大化する刺激の生成が可能かどうかを検討する．
|
