Research on An Interactive Hearing Guide Dog Robot for Audio Environment Visualization

Research Project

Project/Area Number	24K20875
Research Category	Grant-in-Aid for Early-Career Scientists
Allocation Type	Multi-year Fund
Review Section	Basic Section 61050:Intelligent robotics-related
Research Institution	Kanagawa University
Principal Investigator	張斌神奈川大学, 工学部, 准教授 (90828659)
Project Period (FY)	2024-04-01 – 2027-03-31
Project Status	Granted (Fiscal Year 2024)
Budget Amount *help	¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000) Fiscal Year 2026: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000) Fiscal Year 2025: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000) Fiscal Year 2024: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Keywords	聴導犬ロボット / 音源位置推定 / 音声認識 / 音声環境可視化 / 対話ロボット
Outline of Research at the Start	本研究は聴覚障碍者と共存しながら、可視化ツールを用いた対話システムを通じてユーザに聴覚環境を可視化可能な聴導犬ロボットについて研究を行う。ロボットの移動途中では、周囲の音声環境をロボットが認識し、音源位置推定と音源認識を行い、可視化する。また、人間の声の場合は音声認識を行い、理解した音声を適切な表現で可視化する。特に、ユーザが参加したい会話をアクティブな特定場面として理解し、可視化することで、ユーザに自発的に会話を参加することが可能な対話システムを導入する。聴覚障碍者の特性に合わせたコミュニケーションをとるための汎用的な手法を提案し、今後の人間共存型ロボットの発展と普及に重要な役割を果たす。