User-centric Audio-Visual Scene Understanding for Augmented Reality Smart Glasses in the Wild

• 研究課題/領域番号: 23K16912
• 研究種目: 若手研究
• 配分区分: 基金
• 審査区分: 小区分61010:知覚情報処理関連
• 研究機関: 国立研究開発法人理化学研究所
• 研究代表者: Nugraha AdityaArie 国立研究開発法人理化学研究所, 革新知能統合研究センター, 研究員 (60858025)
• 研究期間 (年度): 2023-04-01 – 2026-03-31
• 研究課題ステータス: 交付 (2023年度)
• 配分額: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円); 2025年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円); 2024年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円); 2023年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
• キーワード: audio-visual processing / augmented reality / smart glasses / non-stationary sensors / hearing aids

研究開始時の研究の概要

This study aims to build a user-centric computational model of audio-visual scene understanding for first-person non-stationary sensor data (scientific contribution) and its application to hearing aids using wearable augmented reality (AR) smart glasses in the wild (practical contribution).