Early Detection of Various Types of Dementia through Fusion of Audio and Tactile Modalities during Affective Interaction

• Project/Area Number: 24H00741
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 62:Applied informatics and related fields
• Research Institution: Nagoya Institute of Technology
• Principal Investigator: 加藤 昇平 名古屋工業大学, 工学(系)研究科(研究院), 教授 (70311032)
• Co-Investigator(Kenkyū-buntansha): 田中 由浩 名古屋工業大学, 工学(系)研究科(研究院), 教授 (90432286) ; 南角 吉彦 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (80397497) ; 渡辺 宏久 藤田医科大学, 医学部, 教授 (10378177) ; 池田 学 大阪大学, 大学院医学系研究科, 教授 (60284395) ; 佐久間 拓人 名古屋工業大学, 工学(系)研究科(研究院), 助教 (20753627)
• Project Period (FY): 2024-04-01 – 2029-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥47,970,000 (Direct Cost: ¥36,900,000、Indirect Cost: ¥11,070,000); Fiscal Year 2026: ¥8,450,000 (Direct Cost: ¥6,500,000、Indirect Cost: ¥1,950,000); Fiscal Year 2025: ¥8,450,000 (Direct Cost: ¥6,500,000、Indirect Cost: ¥1,950,000); Fiscal Year 2024: ¥14,690,000 (Direct Cost: ¥11,300,000、Indirect Cost: ¥3,390,000)
• Keywords: 認知症スクリーニング / 医療・福祉サービス / 音声・触覚モダリティ融合 / AI対話システム / 疾患多様性

Outline of Research at the Start

本研究では、日常的な対話と接触を伴うインタラクションから認知症の予見と予防に資する認知症スクリーニングを創造する。視覚・聴覚・触覚に働きかける多感覚な感性インタラクションが可能なAI/アバターロボットを通じて、視覚・聴覚・触覚情報がロボ ットを介してオンラインの相手に伝達されることで、感覚を含んだ空間の共有を通じて感性インタラクションが可能になる。この技術と認知症スクリーニングモデルを融合するこ とで、音声特徴に加えて視覚・触覚のモダリティを用いて発話 態度や手指運動の特徴が分析可能となり、多様な認知症を一気通貫して鑑別することが可能なスクリーニングツールを開発する。