2021 Fiscal Year Annual Research Report
モダリティ間を漂う注意を制御する：視覚・聴覚にまたがる注意推定・誘導技術の開発
| Project/Area Number |
20K21824
|
|---|
| Research Institution | Advanced Telecommunications Research Institute International |
|---|
Principal Investigator |
内海 章 株式会社国際電気通信基礎技術研究所, インタラクション科学研究所, 研究室長 (80395152)
|
|---|
| Project Period (FY) |
2020-07-30 – 2022-03-31
|
| Keywords | 視覚注意 / 聴覚注意 / 眼球運動 / AAD / 視認難易度 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
ヒトの注意状態の把握は日常生活の様々なタスクの支援において重要である。例えば自動車運転では、運転者は他車両、歩行者、信号機などの視覚的な注意対象（視覚対象）、警報音、ガイド音声などの聴覚的な注意対象（聴覚対象）に対して適切に注意を振り向け続ける必要がある。一方で、ヒトの注意資源は限られており、同一モダリティ内だけでなく異なるモダリティ間であっても一方に注意を向ければ他方の情報を認知することが困難となる。本研究では、視覚と聴覚という異なるモダリティ間の注意移動を含むヒトの注意レベルの変化をリアルタイムで推定し、ヒトの注意を適応的に誘導する手法の開発に向けた基礎検討として視覚注意・聴覚注意の計測・推定手法について検討を進めた。そのなかで画像に基づく頭部・眼球運動の高精度計測のために個人パラメータの逐次更新機能を持つ深層学習メカニズムを提案し、パラメータの順次推定と更新、および更新されたパラメータを使用した推定処理による推定精度の向上を明らかにした。また、EEG（脳波）に基づく聴覚注意推定手法であるAAD (Auditory Attention Decoding)のアルゴリズムを実装し、あらかじめ学習した脳波波形と注意対象音声の関係性を利用し、注意対象音声と高い相関値を持つ波形特徴が推定できることを確認した。さらにヒトの注意を適切に誘導するために、ヒトが注視対象を認識したかどうかを推定し，それに対応して適切に支援する手法を提案し、注視対象の視認難易度と眼球運動に基づく注意状態のフィードバックによる視覚探索タスク支援手法の有効性を示した。
|
