赤外域の透過・反射・熱特性を駆使した投影型拡張現実のための画像センシング

• Project/Area Number: 23K21678
• Project/Area Number (Other): 21H03461 (2021-2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2021-2023)
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Institute of Science Tokyo
• Principal Investigator: 渡辺 義浩 東京工業大学, 工学院, 准教授 (80456160)
• Project Period (FY): 2021-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥16,770,000 (Direct Cost: ¥12,900,000、Indirect Cost: ¥3,870,000); Fiscal Year 2024: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000); Fiscal Year 2023: ¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000); Fiscal Year 2022: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000); Fiscal Year 2021: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
• Keywords: 拡張現実 / コンピュータビジョン / コンピュータグラフィクス / プロジェクタ

Outline of Research at the Start

プロジェクションマッピングを基盤とした投影型の拡張現実応用に注目する。この応用では、高速かつ高精度な性能とともに、可視光の投影に左右されない画像センシングが求められる。この要請の下、同センシングは既存技術の転用に留まらない独自の進化を遂げてきた。本研究では、拡張現実の深化に向けて、新たに中・遠赤外域までを視野に入れた赤外画像センシングを同応用に導入することを目的とする。

Outline of Annual Research Achievements

本年度は、前年度に引き続き、可視域と赤外域の異なる波長間の反射特性の違いを利用した動的な周囲環境の把握に着手した。本手法の応用として、赤外域の投影対象表面の映り込みの反射像を、可視光のプロジェクションマッピングの映像に利用することを検討した。このような応用の場合、赤外域の画像では可視光域の色を計測できない問題がある。そこで、プロジェクションマッピングによって質感操作する素材を導体に限定することで、映り込みを再現する可能性を検証した。その結果、一部の粗さの条件下では、赤外域の反射像を用いて映り込み再現が可能であることを示した。また並行して、投影対象の素材として、可視光域で拡散反射性が強く、中・遠赤外域で鏡面反射性が強い条件を満たすようなものを前年度に続いて探す実験を進めた。
また、赤外画像を利用した皮膚変形の推定と連携する手法として、非剛体3次元トラッキングの研究にも取り組んだ。前年度までの手法は、トラッキングの対象ごとにパラメータの手動調整を行うなどの問題があった。これに対し、本年度はこのような調整を自動化する手法を設計した。実験の結果、前年度までの手法に対して、調整の手間を回避するとともに、速度と精度の両面で性能が向上することを確認した。
さらに、赤外画像による投影型拡張現実の入力技術と連携する手法として、高速な深度計測に関する研究に着手した。構造化光法に基づく深度計測は高速化の点で有効だが、高速化に伴う短い露光時間や少ないパターン枚数により、精度が低下する問題がある。そこで、本年度は特に位相シフト法における同問題を解決するための手法を設計した。具体的には、パターンの反射像から相互反射の影響が小さい陰影画像を抽出し、同画像に整合するように深度を補正する手法を試みた。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

赤外画像を利用した皮膚変形の推定、赤外画像による投影型拡張現実の入力技術、可視域と赤外域の異なる波長間の反射特性の違いを利用した動的な周囲環境の把握の3つのテーマについて、それぞれ新たな関連成果を得ることができた。以上より、おおむね順調に進展していると判断できる。

Strategy for Future Research Activity

可視域と赤外域の異なる波長間の反射特性の違いを利用した動的な周囲環境の把握を中心に、最終年度に向けて提案技術の完成を目指す予定である。

Research Products

• [Journal Article] ダイナミックプロジェクションマッピングの作り方と使い方 (2023)
  • Author(s): 渡辺 義浩
  • Journal Title: 電子情報通信学会誌 Volume: 106 Pages: 149-154
• [Journal Article] 高速性を追及するダイナミックプロジェクションマッピングの基盤と実践 (2023)
  • Author(s): 渡辺 義浩
  • Journal Title: 光学 Volume: 52 Pages: 30-35
• [Journal Article] Shaping Reality Through Dynamic Projection Mapping (2022)
  • Author(s): 渡辺 義浩
  • Journal Title: NIHON GAZO GAKKAISHI (Journal of the Imaging Society of Japan) Volume: 61 Issue: 1 Pages: 14-21
  • DOI: 10.11370/isj.61.14
  • NAID: 130008159498
  • ISSN: 1344-4425, 1880-4675
  • Year and Date: 2022-02-10
• [Journal Article] 高速プロジェクタとダイナミックプロジェクションマッピングの進化 (2022)
  • Author(s): 渡辺 義浩
  • Journal Title: 映像情報メディア学会誌 Volume: 76 Pages: 322-326
• [Presentation] 位相シフト法における深度高精度化のための陰影再構成に関する検証 (2024)
  • Author(s): 浦川 雄気，渡辺 義浩
  • Organizer: 第72回複合現実感研究会
• [Presentation] 投影型拡張現実のための遠赤外域の反射像による映り込み再現の検討 (2024)
  • Author(s): 石川 陽菜，渡辺 義浩
  • Organizer: 第72回複合現実感研究会
• [Presentation] 振幅変化補正を用いた高速な位相シフト法 (2023)
  • Author(s): 浦川 雄気，渡辺 義浩
  • Organizer: 第26回画像の認識・理解シンポジウム
• [Presentation] 変形量分散を用いたグラフ調整による非剛体3次元トラッキングの高速化 (2023)
  • Author(s): 邵 乾瀚，渡辺 義浩
  • Organizer: 第26回画像の認識・理解シンポジウム
• [Presentation] 埋め込み変形グラフの適応的調整による非剛体3次元トラッキングの高速化 (2023)
  • Author(s): 邵 乾瀚，渡辺 義浩
  • Organizer: 第68回複合現実感研究会
• [Presentation] ダイナミックプロジェクションマッピングがもたらす拡張現実の世界 (2022)
  • Author(s): 渡辺 義浩
  • Organizer: 港区立産業振興センター オープンイノベーションセミナー
  • Invited
• [Presentation] ダイナミックプロジェクションマッピングによる質感の変容 (2022)
  • Author(s): 渡辺義浩
  • Organizer: 電子ディスプレイの人間工学シンポジウム2022
  • Invited
• [Presentation] プロジェクタの高速化がもたらす新しい視覚世界 (2021)
  • Author(s): 渡辺義浩
  • Organizer: JEITA ディスプレイデバイス部会 人間工学検討グループ ミニシンポジウム
  • Invited
• [Presentation] 高速視覚フィードバックを駆使したダイナミックプロジェクションマッピング (2021)
  • Author(s): 渡辺義浩
  • Organizer: Optics & Photonics Japan 2021
  • Invited
• [Presentation] Dynamic Projection Mapping (2021)
  • Author(s): Yoshihiro Watanabe
  • Organizer: Asia-Pacific Workshop on Mixed and Augmented Reality 2021
  • Int'l Joint Research / Invited
• [Presentation] 投影型拡張現実への応用に向けたインスタンスセグメンテーションの高速化 (2021)
  • Author(s): 小石原 遼，渡辺 義浩
  • Organizer: 第24回 画像の認識・理解シンポジウム
• [Remarks] 位相シフト法における深度高精度化のための陰影再構成に関する検証
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/depth_shade_merge/index-j.html
• [Remarks] 投影型拡張現実のための遠赤外域の反射像による映り込み再現の検討
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/dyn_fir/index-j.html
• [Remarks] 埋め込み変形グラフの適応的調整による非剛体3次元トラッキングの高速化
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/trk_deform/index-j.html
• [Remarks] 埋め込み変形グラフの適応的調整による非剛体3次元トラッキングの高速化
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/trk_deform/index-j.html
• [Remarks] 投影型拡張現実への応用に向けたインスタンスセグメンテーションの高速化
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/dyn_semantic/index-j.html