2022 Fiscal Year Research-status Report
聴きたい音を瞬時に捉える聴覚注意脳情報デコーディングへの挑戦
| Project/Area Number |
22K19809
|
|---|
| Research Institution | Nagaoka University of Technology |
|---|
Principal Investigator |
南部 功夫 長岡技術科学大学, 工学研究科, 准教授 (40553235)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Keywords | 脳波 / 聴覚注意 / 頭部伝達関数 |
|---|
| Outline of Annual Research Achievements |
本研究では、聴覚注意の切り替えを捉えることができる聴覚注意デコーディング技術の検討を行うことを目的とする。
聴覚注意デコーディングとは、複数の話者が話している状況で聴者がどの話者に注目しているかを生体情報（脳波）から検出する方法である。これまでに聴覚注意デコーディングに関する数多くの研究が行われてきたが、2つの異なる音源への注意など、限定された条件が多くなっていた。
そこで、本研究では、実生活の環境で流れている音声をイヤホンで再現し、注目を向けて聴いている音声の方向の判別が可能か調査することを目的として、頭部伝達関数を用いて3人の話者を前後左右に配置されている状況を再現し、被験者には3人の話者の中の1人に注目してもらう実験を実施した。2話者の条件よりタスクが複雑になったが、約75~80%の高い判別精度が得ることができた。
次に3人の話者の中の1人の話者に突然話しかけられる状況を再現した実験を行い、聴覚注意の切り替えを捉えることができるか検討した。しかし、この実験における判別精度は約35~50%であった。
このことから、話を聴いている途中で違う話者に切り替える複雑なタスクは内容の興味や理解がないと困難だと考えられ、スムーズに話者を切り替えられるようなシステムを今後考慮する必要があると考えられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は複数話者が存在する実験条件と切り替えが生じる実験条件の2つを検討することができた。これにより、複数話者条件での精度が確保できることと、切り替え時はやはり精度が下がることを確認できた。
|
| Strategy for Future Research Activity |
これまでの結果から実環境に近い状況では精度が下がり、注意の切り替えも非常に難しいことが確認されたため、当初の予定通り、今後は、切り替え時の精度を向上させるための新しい解析について検討していく予定である。
また、これまでは基本的な聴覚注意デコーディングの方法として、正則線形回帰の手法を使っていた。今後は、ニューラルネットワークなどの別の手法を用いて精度の向上を検討する。
さらに、音源として人工音声に着目し、通常の音声を人工音声に変更することができるかどうかも調べる。
|
| Causes of Carryover |
当初予定では本年度は脳波計等の設備を購入する予定であったが、実環境に合わせた実験の実施に着目して研究を進めたため、未使用額が発生した。また、国際学会への参加なども検討していたが、新型コロナウィルス感染拡大による影響で学会参加が難しくなり、国内の学会での発表のみとなったことも原因である。
次年度は、国際学会への参加や情報収集、論文の投稿などを増やすと同時に、実験を進めた上でに必要となる装置の購入について検討予定である。
|
