2020 Fiscal Year Research-status Report
| Project/Area Number |
18K19819
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
北澤 茂 大阪大学, 生命機能研究科, 教授 (00251231)
|
|---|
| Project Period (FY) |
2018-06-29 – 2022-03-31
|
| Keywords | カクテルパーティー効果 |
|---|
| Outline of Annual Research Achievements |
私たちは、大勢の人が話しているパーティーでも相手の言うことを聞き取れる。脳はどのようにして声を聴き分けているのか。「カクテルパーティ問題」として 50年以上研究されてきたにもかかわらず、手法上の制約から「私たちの脳は聞きたい音声にト ップダウンの注意を向けているらしい」ということしかわかって いない。本研究では、音声認識の能力を獲得した多層人工神経回路とヒトの脳の活動を詳細に比較して、カクテルパーティ問題の謎を解く。 本研究の第一段階では、標準的な音声認識の能力を獲得した多層人工神経回路の階層構造が、ヒトの脳の１次聴覚野（コア）―2次聴覚野（ベルト・パラベル ト）―聴覚性言語野（ウェルニッケ野）に対応するかどうか、を明らかにすることを目的としていた。この点に関しては、昨年度までに既存のラベル付き単語音 声データベースを用いて、単語弁別を行うように６層（入力層＋4個の畳み込み層＋出力層）の人工神経回路を誤差逆伝播法で学習させた上で、得られた人工神 経回路の畳み込み層１から４の人工神経の応答特性を調べることで、音声認識の能力を獲得した多層人工神経回路の階層構造が、ヒトの脳の１次聴覚野（コア） ―2次聴覚野（ベルト・パラベルト）に至る階層構造と類似することを示すことに成功した。本年度は、同時に複数の話者が発する音声刺激をヒト被験者に提示した際の脳活動を計測して、人工神経回路の応答と比較する予定であった。しかし、コロナ禍のため、MRI等の機材を利用したヒトを対象とするデータの取得に遅れが生じた。
人工神経回路を育てて脳と比較するという研究の基本コンセプトを解説した単行本を出版した（北澤 2020)。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
理由
最終段階では、ヒトから取得した脳活動データと、人工神経回路の応答を比較することが必要である。しかし、コロナ禍の影響で脳活動データの取得が進まず、遅延が生じた。
|
| Strategy for Future Research Activity |
コロナ禍の影響は今も続くが、ヒトを対象とするデータの取得を着実に進めて、人工神経回路との比較まで、当初の計画の通りに完遂を目指す。
申請者は、ヒトの高次聴覚野（パラベルト）では、聖徳太子のように複数の話者の音声時系列のそれぞれが自動的に分離され続けていると想定している。時系列が情報空間の中で十分に分離して維持されていれば、トップダウンの注意でいずれかを選択するのは容易な作業となるはずだ。高次聴覚野の後のレベル、おそらくはウェルニッケ野のレベルで、トップダウンの注意の制御を受けて一つの時系列の情報だけが選択されているのではないか。
1) 同時２音声刺激に対するヒトの脳の活動を詳細に計測する。
2) 第2段階で作成したカクテルパーティ問題を解く人工神経回路と脳活動の信号それぞれに、独立成分分析を適用して、2系列の信号情報を分離して、それぞれの信号の分布を明らかにする。これらの解析を通じて、どのレベルで2系列の信号の分離が実現されて、どのレベルでいずれか1つの音声の選択が行われるのかが明らかになる。
|
| Causes of Carryover |
本計画の最終段階では、ヒトから計測した脳活動と人工神経回路の応答を比較することが必要である。しかし、コロナ禍の影響でヒトを対象とする脳活動計測に著しい遅延が生じた。次年度使用額が生じた理由である。次年度使用においては、ヒトからの脳活動計測の機材使用料と謝金に充てる計画である。
|
