2018 Fiscal Year Annual Research Report
言語と音楽の階層的神経情報表現に関する定量モデルの構築
Publicly Offered Research
| Project Area | Studies of Language Evolution for Co-creative Human Communication |
|---|
| Project/Area Number |
18H05091
|
|---|
| Research Institution | National Institute of Information and Communications Technology |
|---|
Principal Investigator |
中井 智也 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 研究員 (60781250)
|
|---|
| Project Period (FY) |
2018-04-01 – 2020-03-31
|
| Keywords | MRI / 言語 / 音楽 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
本研究課題の目的は、言語と音楽の共通部分に関して、認知神経科学の視点からその基盤となる脳メカニズムを明らかにすることである。その目的のため、平成30年度申請者は言語能力と音楽能力に関して別々の脳機能イメージング実験を実施した。
音楽能力に関しては、5名の被験者に540曲の楽曲を聴かせ、その際の脳活動をMRI装置により測定した。MRI装置は脳情報通信融合研究センターにある3Tの装置を用いた。楽曲の音楽ジャンルによる脳活動パターンに対し、エンコーディングモデルによる解析を実施した。ヒトの低次聴覚野の細胞応答特性を模したSpectro-temporal receptive field (STRF)モデルを用いることにより、音楽ジャンル特異的な脳活動パターンがSTRFモデルにより抽出された音響特性によって説明されることを示した。さらに音楽ジャンルと脳活動の間のデコーディングモデルを構築することにより、脳活動から被験者が聞いている音楽ジャンルを解読することに成功した。これらの結果をIEEE SMC 2018に投稿し、受理された。現在、その結果を拡張した内容を論文にまとめ、投稿中である。
言語能力に関し、6名の被験者に合計360分の文章刺激を読み、聞き条件両方で与え、その際の脳活動をMRI装置により測定した。得られた脳活動データに対し、文章刺激からword2vecモデルによって抽出した意味特徴量によるエンコーディングモデルの解析を実施した。その結果、読み条件と聞き条件で共通の意味処理が下前頭回および中・上側頭葉においてみられ、またそれらの領域において、読み条件で構築したモデルが聞き条件の脳活動を予測できることが示された。さらに聞き条件で構築したモデルが読み条件の脳活動を予測できることも示された。現在、以上の結果をまとめ、学会発表の準備をしている。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
申請者は、平成30年度において刺激作成、実験準備および非音楽を対象とした音楽のMRI実験実施のみを予定していた。結果として、平成30年度は音楽刺激の作成に成功し、作成した音楽刺激を利用して5名の被験者を対象としたMRI実験を行い、その上でエンコーディングモデルおよびデコーディングモデルを構築することによる脳活動パターンの解析を実施した。各被験者は3日間の実験に参加した。当初、論文化は平成31年度に実施する予定であったが、部分的な結果をIEEE SMC 2018において論文化することに成功し、さらにその内容を拡張した論文を執筆し、現在雑誌に投稿中である。
平成30年度、申請者はさらに言語刺激のみを用いた MRI実験を実施し、エンコーディングモデルによる解析を行った。当初の予定では聴覚刺激としての音声のみを用いた実験を実施する予定であったが、言語情報が呈示モダリティによらないことを示すため、視覚刺激による実験系を組み入れた上で、6名の日本語母語話者を対象としてMRI実験を実施した。各被験者は6日間の実験に参加した。申請者は言語課題の解析を平成31年度に予定していたが、平成30年度においてその解析を実施することにより、言語情報に関するモデルを構築することに成功した。したがって、平成30年度は当初の計画以上に進展していると考えられる。
他方、当初MRI実験に加えて脳波実験を実施する予定であったが、まずは空間分解能の優れているMRI装置による実験で、音楽と言語の関連脳領域を詳細に明らかにし、また脳活動を説明するモデルを絞り込むことを優先すべきと判断し、平成30年度はMRIによる実験のみを実施した。脳波実験に関しては、MRI実験によるデータの解析結果を参考に、平成31年度以降に実施していく予定である。
|
| Strategy for Future Research Activity |
申請者の今後の推進方策は、主に以下の３点からなる。
1点目は、平成30年度に実施した音楽に関するエンコーディングおよびデコーディングモデルの成果をさらに拡張し、論文として発表することである。また、平成30年度は音響特徴量に基づくSTRFモデルを用いた解析を行っていたが、平成31年度においては音楽から構造特徴量を抽出するモデルを構築することを目指す。STRFモデルはニューロンの応答特性に基づき構築されたモデルであり、その解釈が用意である点に特徴があるが、今後は一般的な音刺激により学習されたニューラルネットワークモデルも活用することにより、より般化性能の高いモデルによって音楽に伴う脳活動を説明することを目指す。
2点目は、言語刺激から構造特徴量を抜き出すことである。平成30年度は言語刺激から意味特徴量のみを抽出し、脳活動とのエンコーディングモデルによる解析を実施していたが、今後は構造特徴量と意味特徴量による多変量線形回帰モデルを構築し、モデル予測精度を比較検討する。複数のモデルによる予測結果をまとめ、平成31年度に言語に関するエンコーディングモデル解析の結果を論文として発表することを目指す。また、必要であれば、構造特徴量に紐付けられた言語データを用いた新たなMRI実験を実施する。
３点目は、言語と音楽の共通性を調べるためのMRI実験を実施することである。平成30年度には音楽と言語の実験を独立に実施し、それらの脳活動パターンを予測するエンコーディングモデルを構築していた。したがって、今度は同じ被験者群に対して音楽・言語両方の刺激を与え、脳活動を測定する必要がある。上記1点目および2点目において導入する構造特徴量を用いて、音楽刺激と言語刺激に伴う脳活動を共通して説明可能なモデルを構築することを目指す。
|
