| 研究課題/領域番号 |
17K12771
|
|---|
| 研究機関 | 株式会社国際電気通信基礎技術研究所 |
|---|
研究代表者 |
堀川 友慈 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 主任研究員 (60721876)
|
|---|
| 研究期間 (年度) |
2017-04-01 – 2020-03-31
|
| キーワード | 感性情報学 / fMRI / デコーディング / 印象 / 情動 |
|---|
| 研究実績の概要 |
本研究は、顔画像や風景画像などの多様な視覚刺激や、音声などの聴覚刺激を提示している時のヒトの脳活動から、刺激に対する印象のデコーディング解析を行い、多様な感覚刺激に対する印象情報の神経基盤を明らかにすることを目指すものである。特定のタイプの刺激を提示している時の脳活動でデコーディングモデル（デコーダ）を学習させ、学習済みのモデルを、同一あるいは他のタイプの刺激提示中の脳活動でテストすることで、解読対象となる印象が脳から予測可能かどうか、また，異なる刺激タイプで共通の神経基盤によって表現されているかどうか（汎化解析）を調べる。当該年度には、物体、風景、質感（素材）、などのドメインの画像刺激を始め、多様な自然音、環境音や、様々な感情を惹起する動画を提示している時の脳活動計測を行い、刺激にタグづけられている印象や感情の解読を行った。現在までに、質感形容詞（光沢感がある、など）によってタグづけられた質感画像と自然音に対してデコーディング解析を行い、それぞれの刺激データから形容詞タグのスコアを予測可能であることがわかった。一方、画像・音声提示中の脳活動間での汎化解析の結果、精度は低いながら、角回付近の脳部位から比較的高い精度で共通の形容詞スコアを解読できることが示唆された。また、感情を惹起する動画に対する脳活動から、脳の様々な部位から情動スコアの予測を行なった結果、脳の異なる部位が異なる情動に対して、高い予測力を有することがわかった。これらの結果は、質感形容詞や情動ラベルに対応する情報が、脳の多様な部位で表現されていることを明らかにするものであり、本研究で目的としている多様な感覚に対する印象情報の神経基盤の共通性・相違性を調べるための足がかりとなる。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
研究提案時の計画では、初年度に刺激の選定、脳計測データおよび刺激セットに対する形容詞スコアの収集を進める予定であった。計画に従い、初年度には、物体、風景、質感（素材）、などの各ドメインの画像刺激、多様な自然音、環境音や、様々な感情を惹起する動画を提示している時の脳活動計測を行い、一部のデータセットに形容詞タグをつける作業を進めた。ヒトの行動実験で評価した形容詞タグや、画像・音声・動画データベースから公開されているスコアを利用したデコーディング解析を開始し、それぞれのスコアが多様な脳部位から予測可能であることがわかってきた。また、次年度に予定していたsearchlight解析にも着手しており、全脳の網羅的・探索的解析を進めている。解析の結果から、異なるタイプの刺激データに対しても、共通のモデルでスコアの予測ができる部位があることを示唆する結果が得られつつある。さらに、より強い印象を惹起する可能性がある動画刺激を利用することで、多様な情動スコアが脳活動から予測可能であることがわかってきており、安定かつ高いデコーディング成績を達成するために、動画刺激でのデータ収集が有効であることを確認することができた。次年度は、これまでに計測した脳活動データに加え、さらに顔画像やより多様な印象を与える音声刺激などを追加で収集する必要性があり、データに対するタグづけ作業もさらに多くの形容詞について追加する予定である。さらに、印象スコアに対する予測力を持つ脳部位が、他の視覚・聴覚特徴とどのような共通性・相違性を有しているのかを調べるため、深層ニューラルネットワークを利用した画像特徴の抽出と、それらの特徴量の脳活動からの予測を行っており、各特徴に対する予測力が脳の視覚野の異なる部位において高くなっていることを確認できている。
|
| 今後の研究の推進方策 |
現在までに、計画当初に予定していた一部の刺激セット（物体、風景、質感、自然音等）について、脳計測データを収集することができた。次年度は引き続き、画像刺激（顔画像）や音声刺激（ヒトの声、音楽など）を中心に脳計測実験を進めていく予定である。一方で、最近の研究で公開された、多様な感情を惹起する動画セットを利用した実験・解析から、動画刺激を用いた際のデコーディング解析結果の精度や安定性が高いことを確認することができた。この結果をもとに、より高い精度での解析を実現するため、視覚刺激に関しては、静止画だけではなく、動画を用いた実験も追加することを検討していく。また昨年度までに、一部の質感的形容詞を使った画像刺激、音刺激に対するスコアづけを行動実験ベースで進めていたが、データへのスコアリングをさらに加速するため、クラウドソーシングを利用した刺激へのスコアリングを重点的に進めていく予定である。また、深層ニューラルネットワークをはじめとする人工知能技術の発展が世界的に著しく、従来行われてきた感覚刺激の処理だけではなく、印象や感情などの高次認知機能に関連する情報も扱えるようになりつつある。このような研究技術の進展をうけて、本研究でも、深層ニューラルネットワークを利用した解析をより積極的に導入し、画像や音声の提示の特徴から機械学習モデルによって抽出される印象情報が、脳における印象の情報表現とどのような関係にあるかを調べていく。
|
| 次年度使用額が生じた理由 |
研究計画当時に脳計測実験や人件費・謝金に使用する予定であった予算の一部を、既存の実験データを活用することで、解析のための計算機購入にあてることができた。
次年度以降も、既存のデータや公開済みのデータを活用することで、研究計画時に実験費用・人件費・謝金として計上していた予算を軽減することができる見込みである。一方で、深層ニューラルネットワークを使った解析の有用性が、研究計画時に想定していたよりも高く、深層ニューラルネットワークを利用するためのGPU計算機を導入することで、計画よりも高い目標の達成が見込める可能性がある。したがって，次年度以降の実験費用等の一部を必要に応じて計算機購入にあてる予定である。
|
