聴きたい音を瞬時に捉える聴覚注意脳情報デコーディングへの挑戦
Project/Area Number |
22K19809
|
Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
Allocation Type | Multi-year Fund |
Review Section |
Medium-sized Section 61:Human informatics and related fields
|
Research Institution | Nagaoka University of Technology |
Principal Investigator |
南部 功夫 長岡技術科学大学, 工学研究科, 准教授 (40553235)
|
Project Period (FY) |
2022-06-30 – 2025-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
|
Keywords | 脳波 / 聴覚注意 / 頭部伝達関数 / 脳 / 音声 / 注意 |
Outline of Research at the Start |
機械学習により構築したデコーダー(判別器)を用いて、脳活動から人間が複数の音源のうち注目している音を予測する聴覚注意デコーディング技術では、注目音の推定に非常に時間がかかり、ユーザーの意図に合わせて聴きたい音を瞬時に切り替えるようなことは困難である。本研究では、注意を向けた音を瞬時に切り替える脳のメカニズムを解明し、その仕組みを応用して切り替えに関する脳情報を組み込んだ新しい聴覚注意デコーディングに挑戦する。
|
Outline of Annual Research Achievements |
本研究では、聴覚注意の切り替えを捉えることができる聴覚注意デコーディング技術の検討を行うことを目的とする。 聴覚注意デコーディングとは、複数の話者が話している状況で聴者がどの話者に注目しているかを生体情報(脳波)から検出する方法である。これまでに聴覚注意デコーディングに関する数多くの研究が行われてきたが、2つの異なる音源への注意など、限定された条件が多くなっていた。 そこで、本研究では、実生活の環境で流れている音声をイヤホンで再現し、注目を向けて聴いている音声の方向の判別が可能か調査することを目的として、頭部伝達関数を用いて3人の話者を前後左右に配置されている状況を再現し、被験者には3人の話者の中の1人に注目してもらう実験を実施した。2話者の条件よりタスクが複雑になったが、約75~80%の高い判別精度が得ることができた。 次に3人の話者の中の1人の話者に突然話しかけられる状況を再現した実験を行い、聴覚注意の切り替えを捉えることができるか検討した。しかし、この実験における判別精度は約35~50%であった。 このことから、話を聴いている途中で違う話者に切り替える複雑なタスクは内容の興味や理解がないと困難だと考えられ、スムーズに話者を切り替えられるようなシステムを今後考慮する必要があると考えられる。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は複数話者が存在する実験条件と切り替えが生じる実験条件の2つを検討することができた。これにより、複数話者条件での精度が確保できることと、切り替え時はやはり精度が下がることを確認できた。
|
Strategy for Future Research Activity |
これまでの結果から実環境に近い状況では精度が下がり、注意の切り替えも非常に難しいことが確認されたため、当初の予定通り、今後は、切り替え時の精度を向上させるための新しい解析について検討していく予定である。 また、これまでは基本的な聴覚注意デコーディングの方法として、正則線形回帰の手法を使っていた。今後は、ニューラルネットワークなどの別の手法を用いて精度の向上を検討する。 さらに、音源として人工音声に着目し、通常の音声を人工音声に変更することができるかどうかも調べる。
|
Report
(1 results)
Research Products
(3 results)