| Project/Area Number |
23K21715
|
|---|
| Project/Area Number (Other) |
21H03536 (2021-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2021-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61060:Kansei informatics-related
|
|---|
| Research Institution | NTT Communication Science Laboratories |
|---|
Principal Investigator |
堀川 友慈 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 特別研究員 (60721876)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,160,000 (Direct Cost: ¥13,200,000、Indirect Cost: ¥3,960,000)
Fiscal Year 2024: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2023: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000)
Fiscal Year 2022: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2021: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
|
|---|
| Keywords | 感情 / 脳情報デコーディング / 深層ニューラルネットワーク / fMRI / 脳 |
|---|
| Outline of Research at the Start |
感情は、われわれの行動や体験の価値を決定づける重要な要素である。近年、多彩な感情体験を数十種類もの感情カテゴリで記述する理論が提唱されている。しかし、これらの多彩な感情カテゴリが脳でどのように構築・表現されているかは未解明である。本研究では、多様な感情体験時の脳活動を、脳情報デコーディング技術および人工知能技術を用いて解析することで感情デコーディングの実現および多彩な感情の神経基盤の解明を目指す。
|
| Outline of Annual Research Achievements |
本研究はヒトの脳における多様な感情の神経基盤を調べることを目的として，感情を惹起する多様な感覚刺激を提示した時の脳活動を機能的磁気共鳴画像法により計測し，脳情報デコーディングなどの多変量解析によって脳活動から推定される感情の脳情報表現を定量化することを試みる研究である.これまでに，感情を惹起する動画や，さまざまな感情を表した顔の表情画像・動画，音楽，発声音(短い発声音，感情的ニュアンスを伴ったスピーチ)，さまざまな触り心地を引き起こすテクスチャ触覚刺激などの刺激素材に関して，刺激提示時の脳活動計測を行い，感情や印象のスコアと脳活動との対応を探る統計解析を行った．まず，視覚刺激に対する脳活動からのデコーディング解析では，言語情報処理用に訓練された深層ニューラルネットワークの意味特徴を活用することで，脳に表現されている情報をテキストとして生成する技術を用いて，脳活動から本人の主観的体験を反映したテキストを生成できるか検証したところ，本人が自分の知覚体験と近いと評価したテキストと類似したテキストが脳活動から生成できていることを確認することができた．また，聴覚刺激に対する脳活動解析では，発声音に対するスコアのデコーディングや脳活動予測により，多様な感情カテゴリの情報が情動次元の情報よりも脳活動の変動を説明するのに有用であることを示唆する結果が得られた．この結果は，先行研究において視覚刺激について示されていた感情の高次元空間モデルの妥当性を，聴覚刺激に対しても部分的にサポートするものである．また，触覚刺激に対する脳活動の解析では，異なる触覚テクスチャ刺激を触った時の脳活動から，刺激の違いを識別できることを確認し，刺激を触った時の柔らかさや温かさ，粗さなど，触覚刺激の知覚時に生じるさまざまな主観的な印象の違いが，どの脳部位のデコーディング成績の違いを説明するかを可視化することができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
3年目には，本研究で計画していた，(1)多様な感情カテゴリの脳情報デコーディングが可能かどうかという目標に対して，先行研究で視覚刺激を用いて確認していた結果を，多様な聴覚刺激についても確認することができた．また，新たに触覚刺激に対する脳活動計測にも着手することができ，刺激に対する主観的な印象と脳情報表現の対応関係を探る実験・解析についても一定の成果を得ることができた．さらにもう一つの目標として掲げている(3)脳-機械間の感情の情報表現の類似性評価に関しても，視覚・聴覚の感覚情報を扱うモデルだけでなく，言語入力から抽出できる意味情報を扱うモデルを活用する準備が整いつつあり，最終年度での詳細な検証に向けて，準備を整えることができつつある．一方で，(2)感情のモダリティ特異性の評価については，未だ確とした結果が得られていない部分もあるため，既に収集したデータを活用することでさらに詳細な検証を進めていく．
|
| Strategy for Future Research Activity |
最終年度は，前年度までに収集したデータをもとに，視覚-聴覚や視覚-触覚などの異なるモダリティ間での感情・情動関連の情報の類似性と相違性の詳細な検証を進めていく．使用するモデルは，当初予定していた個々の感覚モダリティ用に訓練された感情認識用の深層ニューラルネットワークだけではなく，画像や音声の生成モデルや，複数のモダリティのデータを使って学習をしたマルチモーダルなモデル，言語情報処理用に訓練された言語モデルなど，複数のタイプのモデルを活用して，脳の感情・情動情報をどのように精度良く捉えることができるのか検証を進める．特に，言語モデルを用いた解析では，刺激に付与された感情カテゴリなどのラベル名を言語モデルにより処理して意味特徴に変換することで，具体的な感情ラベルの名前が異なるデータ間でも汎化解析が可能かどうかを検証する．具体的には，それぞれのモダリティに付与されている感情カテゴリのスコアの名前を意味特徴に変換し，特定のモダリティの脳活動からその特徴量を予測するモデルを訓練する．得られた訓練モデルを用いて，他のモダリティ刺激に対する脳活動から，意味特徴を精度良く予測できるかどうかを多様な脳部位において検証する．さらに，深層ニューラルネットワークモデルを使って抽出した特徴から脳活動を高い精度で予測できるかどうか検証し，高い精度が得られることが確認できた場合には，そのモデルと脳活動とをつなぐ一つのネットワークをもとに，特定の脳部位の活動を最大化する刺激の生成が可能かどうかを検討する．
|
