身体運動に完全追従する低遅延拡張現実ディスプレイ

• Project/Area Number: 23K24878
• Project/Area Number (Other): 22H03622 (2022-2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2022-2023)
• Section: 一般
• Review Section: Basic Section 61020:Human interface and interaction-related
• Research Institution: Tohoku University
• Principal Investigator: 鏡 慎吾 東北大学, 未踏スケールデータアナリティクスセンター, 教授 (90361542)
• Project Period (FY): 2022-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥16,900,000 (Direct Cost: ¥13,000,000、Indirect Cost: ¥3,900,000); Fiscal Year 2025: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000); Fiscal Year 2024: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000); Fiscal Year 2023: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000); Fiscal Year 2022: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
• Keywords: ディスプレイ / ユーザインタフェース / バーチャルリアリティ / 画像、文章、音声等認識 / 画像，文章，音声等認識

Outline of Research at the Start

現実の情景に付加的な情報を重畳して視覚提示する拡張現実感システムにおいては，映像提示には厳しい低遅延性が要求される．特に光学的な手段により映像重畳を実現する場合はその要求は一層厳しいものとなる．本研究では，光学的な映像重畳を行う拡張現実ミラーシステムを題材として，利用者が鏡を通して見る自己あるいは他者の身体の鏡像に正確に位置合わせされた情報提示を行うシステムの研究開発を行う．

Outline of Annual Research Achievements

本研究では，利用者が鏡を通して見る自己あるいは他者の身体の鏡像に対して，正確に位置合わせされたアノテーション映像を遅れなく重畳提示する拡張現実感ディスプレイの研究開発を行う．
研究期間の初年度である本年度は，期間全体を通じて検討する低遅延位置合わせディスプレイの簡略版となるシステムを構築し，提案するアプローチの効果の確認と技術課題の洗い出しを行った．具体的には，単一観察者への情報提示を前提として，視点位置追跡の結果を低遅延で映像に反映する2次元ディスプレイシステムを開発した．ハーフミラーの背面にリア投影スクリーンを配置して，研究代表者がこれまで開発を行ってきた低遅延DLPプロジェクタの映像を投射する構成を取った．視点位置を含む身体運動の計測のため，2台の高速カメラによるステレオビジョンシステムを導入した．計画時点ではマーカベースの画像追跡を想定していたが，計画を前倒ししてマーカレスでの顔および手指の特徴点運動追跡を実装し，手指の鏡像へ位置合わせされた低遅延映像提示を実現し，その動作を確認した．
これらと並行して，多視点への提示を可能する構成の基礎検討を行った．具体的には，裸眼立体ディスプレイ方式と，視点に依存しない映像提示方式の検討を進めた．また，運動体へのプロジェクションマッピングにおける位置合わせ誤差の定量的分析や，運動体と静止体へのプロジェクションマッピングの知覚の差異の分析などの基礎的検討も行った．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初計画で挙げた事項については，一部前倒しで実施しているものも含め，予定通りに実施を完了している．

Strategy for Future Research Activity

開発したシステムの直接の後継として裸眼立体ディスプレイ方式の開発を進めるとともに，視点に依存しない方式のシステムの実装・評価も進めていく．

Research Products

• [Journal Article] 運動追従プロジェクションを利用する映像コンテンツとの動的インタラクション (2023)
  • Author(s): 鏡 慎吾
  • Journal Title: 光学 Volume: 52 Pages: 13-17
• [Journal Article] Homography Estimation Using Marker Projection Control: A Case of Calibration-Free Projection Mapping (2023)
  • Author(s): Shingo Kagami and Koichi Hashimoto
  • Journal Title: Proc. 22nd World Congress of the International Federation of Automatic Control (IFAC2023) Volume: - Issue: 2 Pages: 2951-2956
  • DOI: 10.1016/j.ifacol.2023.10.1418
  • Peer Reviewed / Open Access
• [Journal Article] An Introduction to Lie Groups and Lie Algebras for Robotics Engineers (2023)
  • Author(s): 鏡 慎吾
  • Journal Title: Journal of the Robotics Society of Japan Volume: 41 Issue: 6 Pages: 511-517
  • DOI: 10.7210/jrsj.41.511
  • ISSN: 0289-1824, 1884-7145
• [Journal Article] Evaluation of Perceptual Difference in Dynamic Projection Mapping with and without Movement of the Target Surface (2022)
  • Author(s): Shunya Fukuda, Shingo Kagami, Koichi Hashimoto
  • Journal Title: Journal of Robotics and Mechatronics Volume: 34 Issue: 5 Pages: 1141-1151
  • DOI: 10.20965/jrm.2022.p1141
  • ISSN: 0915-3942, 1883-8049
  • Year and Date: 2022-10-20
  • Peer Reviewed / Open Access
• [Presentation] 運動物体へのラインアート投影のためのガルバノレーザスキャナのキャリブレーション (2023)
  • Author(s): 松本 大吾, 鏡 慎吾, 橋本 浩一
  • Organizer: 日本機械学会ロボティクスメカトロニクス講演会 (ROBOMECH2022)
• [Presentation] Papery Ghost: 据置型光学コンバイナを用いた机表面の拡張現実 (2023)
  • Author(s): 大西 千代音, 鏡 慎吾, 橋本 浩一
  • Organizer: 計測自動制御学会システムインテグレーション部門講演会 (SI2023)
• [Presentation] 両眼観察可能な低遅延拡張現実ミラーに関する基礎検討 (2023)
  • Author(s): 高井 清一, 鏡 慎吾, 橋本 浩一
  • Organizer: 計測自動制御学会システムインテグレーション部門講演会 (SI2023)
• [Presentation] 超低遅延映像ディスプレイとヒューマンインタラクション (2023)
  • Author(s): 鏡 慎吾
  • Organizer: センサ&IoTコンソーシアム 公開シンポジウム2023
  • Invited
• [Presentation] High-Speed Vision and Projection for Real-World Perception and Augmentation (2023)
  • Author(s): Shingo Kagami
  • Organizer: HKSTP Thought-leadership Series "AI and Robotics for Garment Industry"
  • Int'l Joint Research / Invited
• [Presentation] ロボット工学のためのリー群・リー代数入門 (2022)
  • Author(s): 鏡 慎吾
  • Organizer: 日本ロボット学会 第141回ロボット工学セミナー
  • Invited
• [Presentation] 鏡像の運動への低遅延追従を実現するミラー型拡張現実感ディスプレイ (2022)
  • Author(s): 高井 清一, 鏡 慎吾, 橋本 浩一
  • Organizer: 計測自動制御学会システムインテグレーション部門講演会 (SI2022)
• [Patent(Industrial Property Rights)] Projection System, Projection System Control Device, Projection Method, and Program (2022)
  • Inventor(s): Shingo Kagami
  • Industrial Property Rights Holder: 国立大学法人東北大学
  • Industrial Property Rights Type: 特許
  • Filing Date: 2022
  • Overseas
• [Patent(Industrial Property Rights)] Projection system, projection system control device, projection method, and program (2022)
  • Inventor(s): Shingo Kagami
  • Industrial Property Rights Holder: 国立大学法人東北大学
  • Industrial Property Rights Type: 特許
  • Filing Date: 2022
  • Acquisition Date: 2023
  • Overseas