2018 Fiscal Year Research-status Report
多様な感覚刺激に対する印象のブレイン・デコーディング
| Project/Area Number |
17K12771
|
|---|
| Research Institution | Advanced Telecommunications Research Institute International |
|---|
Principal Investigator |
堀川 友慈 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 主任研究員 (60721876)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | ブレイン・デコーディング / 脳活動予測 / 感情 / 感覚モダリティ / 深層ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
本研究では、多様な感覚刺激に対してヒトが感じる印象の情報が、脳でどのように表現されるかを調べることを目的とし、自然環境における多様なシーンや、顔画像、風景画像、質感画像などの視覚刺激に加え、印象を引き起こす音声刺激に対する脳活動の解析を行うことで、印象の神経基盤を明らかにすることを目指すものである。当該年度には、主に多様なシーンに対するヒトの印象・感情の脳内情報表現について調べるため、多様な感情を惹起する動画に対する脳活動の解析を行うとともに、顔、風景、素材画像刺激提示時や、音声刺激提示の脳活動収集および刺激の印象ラベル（e.g., valenceやarousalのスコアリング）の収集を行った。動画に対する脳活動解析では、刺激提示中に計測したfunctional magnetic resonance imaging (fMRI)信号と、動画にタグづけられている34カテゴリの感情ラベルや14次元の情動ラベルとの間で、脳活動の予測解析と脳活動からのラベル予測解析を行った。脳活動の予測解析では、どちらの種類の感情ラベルからも脳の広範な部位の活動を予測可能であることを確認することができた。また、動画のフレームから抽出した深層ニューラルネットワークの特徴量や、動画中に現れる物体や風景などの意味ラベルに基づく特徴量による脳活動予測結果と比較から、感情ラベルを用いた方が、下側頭皮質や前頭皮質など，default mode networkと関連が高く、刺激モダリティによらない情報を表現していると言われる脳部位の活動をより精度よく予測ができることが分かった。また、脳からのラベル予測でも、これらの脳部位において特に感情のラベルを高い精度で予測できることを確認できた。データ収集に関しては、複数被験者のデータおよび情動ラベルの収集を進めることができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画当初に予定していたfMRIデータの収集や刺激へのタグづけが順調に進んでおり、物体画像や風景画像、顔画像、質感画像を見ているときの脳活動や、1000種以上の音楽刺激に対する脳活動の計測データを複数被験者数分収集することができた。また、刺激に対するラベルとして、valenceやarousalなどの情動次元に関連するスコアを複数刺激セットについて複数評価者から収集する作業を完了した。解析においても、多様な印象・感情を惹起する動画刺激をもちいることで、モダリティによらずに情報を表現していると言われる下側頭皮質や前頭葉の活動を予測可能であることを明らかにすることができた。さらに、脳を多数の小領域に分割したあとで、各脳部位から印象・感情ラベルを予測することで，どの印象・感情がどの部位から予測可能であるかを示す脳の感情マップを可視化することもできつつある。被験者ごとに得られた脳の感情マップを被験者間で比較することで、得られた感情マップが、感情ごとに異なりつつも、被験者間で共通していることを示唆する結果が得られつつある。刺激動画を既存の物体認識用深層ニューラルネットワークで解析することで、動画から抽出した高次の視覚特徴量の情報が表現されている部位と、感情の情報が表現されている部位の違いを明らかにすることもできた。また、画像から計算される特徴量より抽象度の高い、物体・風景に関する意味ラベルからの脳活動予測との比較によっても、抽象度の高い印象・感情情報が表現される部位をさらに詳細に特定することができた。これらの結果から、感情が、物体認識に関連する視覚特徴や具体性の高い意味情報とは異なる脳部位で表現されていることを直接明らかにでき、感情に関わる特徴がどのように構成されるかを調べるためには、より抽象度の高い情報を扱える深層ニューラルネットワークの構築が必要であることを確認することができた。
|
| Strategy for Future Research Activity |
これまでに、動画刺激に対する印象・感情ラベルを用いた脳活動予測解析によって、モダリティによらずに情報を表現していると考えられている脳部位の活動を予測できることがわかってきた。また、そこで使用された印象・感情ラベルを動画観察中の脳活動パターンから予測（デコーディング）可能であることも確認できた。これらの進捗を受け、最終年度では、ここで得られた結果を追加解析することで、印象・感情に関連する脳情報表現をより詳細に調べていく。具体的には、動画刺激に対する脳活動でトレーニングされた印象・感情スコアのデコーディングモデルを用いて、他のタイプの感覚刺激に対する脳活動から刺激に付与された印象・感情スコアを予測可能かどうか検討する。この方法を用いて脳全体を探索的に解析することで、異なる刺激モダリティに対する印象・感情が共通の脳活動パターンによって表現されている部位を明らかにする。また、これまでに得られている結果をまとめ、論文や学会での発表を行う。これらに加え、脳が画像からどのように印象や感情に関連する情報を抽出するかをモデル化するため、深層ニューラルネットワークを用いて、画像から意味情報や印象・感情情報を予測するモデルを構築し、学習モデルの中間表現と脳の対応関係を調べることにも挑戦する。
|
