ヒト脳における音の種類に特異的な音源位置情報表現の解明

• Project/Area Number: 23K12945
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 10040:Experimental psychology-related
• Research Institution: NTT Communication Science Laboratories
• Principal Investigator: 山岸 慎平 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 研究員 (20974736)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2023: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
• Keywords: 音の空間位置 / 音の特徴量の脳表現 / fMRI / 聴覚野 / 聴覚 / 機能的磁気共鳴画像法 (fMRI) / 音空間 / 音のカテゴリ

Outline of Research at the Start

「どのような音」が「どこ」で鳴っているのかを把握することは、コミュニケーションにおいて非常に重要である。これまでの神経科学研究の多くは、音のコンテンツ情報（どのような音）と音源位置の情報（どこ）に関する脳表現を独立に探索してきた。そのような中、心理学や神経科学の分野において、ヒトの行動や脳の反応を説明するモデルとしてのDNN(deep neural network)の有用性が明らかになってきている。本研究はこういった最新の技術を活用し、ヒト脳における音源位置情報の表現と音の種類を決定づける音響特徴の関係を検討する。

Outline of Annual Research Achievements

本年度は空間的に呈示された音に対する脳の情報表現を調べるため、fMRI（functional magnetic resonance imaging）のデータ収集およびそのデータ解析に注力し、研究を推し進めた。
まず、ダミーヘッドによって計測されたHRTF（Head-related transfer function, 頭部伝達関数）を用いて、様々な種類の音をイヤホンで空間的に呈示する実験プロトコルを作成した。5つの仮想位置（左、中央、右、左と中央の中間、右と中央の中間）を音源位置の候補として約1200種類の音を呈示した際のfMRI信号を計測し、空間情報も含んだ音の特徴量についてのエンコーディング/デコーディングモデルの構築を行うためのtraining dataを集めた。その後、training data に含まれない音（約50種類）を用いてtest dataを収集し、脳活動に基づくエンコーディング/デコーディングモデルの評価を行った。
その結果、1. 音の種類を分類するdeep neural network (DNN)の階層的情報表現と聴覚野周辺の階層構造が対応すること、2. 音の空間呈示パターンの違いが聴覚野周辺の脳活動パターンから一定の精度で分類できること、3.モデル構築の際の音源位置とモデル評価の際の音源位置が一致した場合に、音の特徴デコーディングの精度が高い傾向があること、を確認した。
これらの結果は予備的なものであり今後の検証が必要であるが、幅広い種類の音を用いて「どのような音がどこで鳴っているのか」に関する脳表現（音の種類に依存した音源位置情報表現）を調べるための下準備ができたと言える。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

学会発表や論文投稿への準備には取り掛かれていないためその点は少し出遅れているが、当初の計画では脳とDNNモデル間の比較は2年目に予定されていたため、研究の基盤作りという観点では当初の計画以上に進展していると言える。これは、申請者の所属機関がDNNモデルやfMRIデータ解析を扱う際に必要となる大容量CPU・GPU計算機およびデータサーバを保有しているため、実験や解析を効率よく進めることができたことによる。

Strategy for Future Research Activity

新たな実験刺激の導入やこれまでの解析のブラッシュアップを進め、予備的に得られた結果の検証を進める。また、脳表現を評価するために現段階で導入しているDNNモデルは空間位置を考慮しないモデルであり、近年報告されいてる両耳入力を想定したモデルではない。今後は両耳入力を想定したモデルを用いることで、DNNモデルの音空間情報の表現や音の特徴量の表現が脳の階層的情報表現とどのように関連するか、音の種類の違いによってその表現がどのように異なるか、を調べていく。これらの結果をまとめ、学会発表や論文執筆を進める。