Perspective Taking Mirror: Visual Media for Sympathetic Communication

• Project/Area Number: 25K03146
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61020:Human interface and interaction-related; Basic Section 62040:Entertainment and game informatics-related; Sections That Are Subject to Joint Review: Basic Section61020:Human interface and interaction-related , Basic Section62040:Entertainment and game informatics-related
• Research Institution: University of Tsukuba
• Principal Investigator: 北原 格 筑波大学, 計算科学研究センター, 教授 (70323277)
• Co-Investigator(Kenkyū-buntansha): 謝 淳 筑波大学, 計算科学研究センター, 助教 (00913287) ; 小田 竜也 筑波大学, 医学医療系, 教授 (20282353) ; 松田 壮一郎 筑波大学, 人間系, 助教 (90762675)
• Project Period (FY): 2025-04-01 – 2029-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥18,720,000 (Direct Cost: ¥14,400,000、Indirect Cost: ¥4,320,000); Fiscal Year 2028: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000); Fiscal Year 2027: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2026: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2025: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
• Keywords: 自由視点映像 / インタラクション / 発達心理学 / 外科手術 / 作業支援

Outline of Research at the Start

高品質自由視点映像生成、３次元環境認識、他者視点取得モデルを統合することにより、自己と他者の“観点”を自在に切り替える“観点転換鏡”を実現する。３次元モデリングによるアプローチと大規模データ学習によるアプローチを相補的に利用することで、撮影した多視点映像の表現力を損なうことなくリアルタイムで自由視点映像を生成し、視点転換を実現する。復元した３次元情報に基づく撮影環境の認識・理解の結果に「心を読む認知モジュール」を適用し、心的状態に基づく他者視点取得による”観点”の転換を試みる。外科手術に視点転換鏡を導入し、要素技術の精度を高めつつ、共感を伴う作業支援映像メディアの確立を目指す。