観点転換鏡：共感を伴うコミュニケーションの実現を目的とした映像メディア

• 研究課題/領域番号: 25K03146
• 研究種目: 基盤研究(B)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分61020:ヒューマンインタフェースおよびインタラクション関連; 小区分62040:エンタテインメントおよびゲーム情報学関連; 合同審査対象区分:小区分61020:ヒューマンインタフェースおよびインタラクション関連、小区分62040:エンタテインメントおよびゲーム情報学関連
• 研究機関: 筑波大学
• 研究代表者: 北原 格 筑波大学, 計算科学研究センター, 教授 (70323277)
• 研究分担者: 謝 淳 筑波大学, 計算科学研究センター, 助教 (00913287) ; 小田 竜也 筑波大学, 医学医療系, 教授 (20282353) ; 松田 壮一郎 筑波大学, 人間系, 助教 (90762675)
• 研究期間 (年度): 2025-04-01 – 2029-03-31
• 研究課題ステータス: 交付 (2025年度)
• 配分額: 18,720千円 (直接経費: 14,400千円、間接経費: 4,320千円); 2028年度: 3,770千円 (直接経費: 2,900千円、間接経費: 870千円); 2027年度: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円); 2026年度: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円); 2025年度: 5,590千円 (直接経費: 4,300千円、間接経費: 1,290千円)
• キーワード: 自由視点映像 / インタラクション / 発達心理学 / 外科手術 / 作業支援

研究開始時の研究の概要

高品質自由視点映像生成、３次元環境認識、他者視点取得モデルを統合することにより、自己と他者の“観点”を自在に切り替える“観点転換鏡”を実現する。３次元モデリングによるアプローチと大規模データ学習によるアプローチを相補的に利用することで、撮影した多視点映像の表現力を損なうことなくリアルタイムで自由視点映像を生成し、視点転換を実現する。復元した３次元情報に基づく撮影環境の認識・理解の結果に「心を読む認知モジュール」を適用し、心的状態に基づく他者視点取得による”観点”の転換を試みる。外科手術に視点転換鏡を導入し、要素技術の精度を高めつつ、共感を伴う作業支援映像メディアの確立を目指す。