AI統合による聴覚から視覚へのリアルタイム知覚変換と提示システム

• 研究課題/領域番号: 25K15191
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分61020:ヒューマンインタフェースおよびインタラクション関連
• 研究機関: 東京大学
• 研究代表者: 金 賢梧 東京大学, 生産技術研究所, 特任助教 (60817328)
• 研究期間 (年度): 2025-04-01 – 2028-03-31
• 研究課題ステータス: 交付 (2025年度)
• 配分額: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円); 2027年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円); 2026年度: 2,210千円 (直接経費: 1,700千円、間接経費: 510千円); 2025年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
• キーワード: リアルタイム知覚変換・提示 / AI統合 / 高速ビジョンシステム

研究開始時の研究の概要

本研究は、全世界で4億人以上とされる聴覚障害者の支援や多言語通訳における低遅延な視覚提示の実現に向けて、AI統合による聴覚から視覚へのリアルタイム知覚変換・提示システムを提案する。従来の研究では、音声情報の変換や単純な表示にとどまり、他者とのインタラクションを考慮した低遅延処理が実現されておらず、アプリケーションへの適用が制限される課題があった。本研究では、音声・画像処理に特化した最新のAI技術と、最大1,000 fps (frames per second) の高速ビジョンシステムを統合することで、リアルタイム知覚変換と提示の高度化を図る。