高速ビジョン・プロジェクタに基づいた動的質感再現

• Project Area: Understanding human recognition of material properties for innovation in SHITSUKAN science and technology
• Project/Area Number: 16H01667
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: The University of Tokyo
• Principal Investigator: 渡辺 義浩 東京大学, 大学院情報理工学系研究科, 講師 (80456160)
• Project Period (FY): 2016-04-01 – 2018-03-31
• Project Status: Completed (Fiscal Year 2017)
• Budget Amount: ¥8,450,000 (Direct Cost: ¥6,500,000、Indirect Cost: ¥1,950,000); Fiscal Year 2017: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000); Fiscal Year 2016: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
• Keywords: ヒューマンインタフェース・インタラクション / プロジェクタ / センシングデバイス・システム / コンピュータビジョン / 知覚情報処理 / ヒューマンインタフェース・インタラ クション

Outline of Annual Research Achievements

本研究では、動的に変化する実世界と仮想的な質感を、時空間的整合性を満たす形で融合させる技術を確立する。昨年度は、このような動的質感再現のプラットフォームの構築に向けて、新たな高速3次元トラッキング技術を開発し、高速プロジェクションマッピングに基づく動的質感再現を検証した。今年度は、質感表現の拡張に取り組んだ。まず、法線マッピングと呼ばれるコンピュータグラフィクスのテクニックが、本技術においても有効であることを示した。同テクニックは、物体表面の細かな凹凸を幾何学的な形状ではなく、法線に基づいた陰影のみで表現するものである。特に、本研究のような動的変化に追従するタイプのプロジェクションマッピングを用いた質感提示においては、リアリティを上げるうえでこのような技術が有効に働くことが分かった。さらに、開発したトラッキング技術を用いて、疑似的な光源を動的に再現する技術を実現した。実現に向けて、投影される映像の中にセンシング用のマーカを人間には見えないように埋め込み、光源に見立てたカメラの位置姿勢を取得する手法を構築した。これによって、人間が把持する仮想光源の位置に応じて、対象表面の鏡面反射位置や影を変化させ、動的質感の再現度のレベルをさらに向上できることを示した。このほかにも、構造化光法に基づく高速な3次元計測を用いたトラッキング技術を駆使することで、マーカレスで動的質感再現を実現する技術を検証した。

Research Progress Status

29年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

29年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Development of Realistic Display Using Periodically Actuated Physical Objects and High-speed Pixelated Lighting (2017)
  • Author(s): 吉田貴寿, 渡辺義浩, 石川正俊
  • Journal Title: Transactions of the Virtual Reality Society of Japan Volume: 22 Issue: 2 Pages: 229-240
  • DOI: 10.18974/tvrsj.22.2_229
  • NAID: 130005701314
  • ISSN: 1344-011X, 2423-9593
  • Peer Reviewed
• [Journal Article] High-Speed Vision and Video Projection (2017)
  • Author(s): 渡辺義浩
  • Journal Title: Journal of the Robotics Society of Japan Volume: 35 Issue: 8 Pages: 587-590
  • DOI: 10.7210/jrsj.35.587
  • NAID: 130006201605
  • ISSN: 0289-1824, 1884-7145
• [Presentation] 高速3次元トラッキングを用いたマーカレスダイナミックプロジェクションマッピングの検証 (2018)
  • Author(s): 田畑智志，天野光，渡辺義浩，石川正俊
  • Organizer: 電子情報通信学会 パターン認識・メディア理解研究会
• [Presentation] ダイナミックプロジェクションマッピングのデザイン (2017)
  • Author(s): 渡辺義浩
  • Organizer: プロジェクションディスプレイ技術研究会
  • Invited
• [Presentation] ビジョン・プロジェクタの高速化と実空間メディアの進化 (2017)
  • Author(s): 渡辺義浩
  • Organizer: 超臨場感コミュニケーション産学官フォーラム 実空間メディアワーキンググループセミナー
  • Invited
• [Presentation] 高速プロジェクタによる光源変調と階調制御の連携に基づく不可視パターン埋め込み手法の検討 (2017)
  • Author(s): 天野光, 加藤俊幸, 渡辺義浩, 石川正俊
  • Organizer: 第22回日本バーチャルリアリティ学会大会
• [Presentation] Phyxel: Realistic display using physical objects with high-speed spatially pixelated lighting (2016)
  • Author(s): Takatoshi Yoshida, Yoshihiro Watanabe, and Masatoshi Ishikawa
  • Organizer: ACM SIGGRAPH 2016, Emerging Technologies
  • Place of Presentation: Anaheim Convention Center, California, USA
  • Year and Date: 2016-07-24
  • Int'l Joint Research
• [Presentation] ZoeMatrope: A System for Physical Material Design (2016)
  • Author(s): Leo Miyashita, Kota Ishihara, Yoshihiro Watanabe and Masatoshi Ishikawa
  • Organizer: ZoeMatrope: A System for Physical Material Design
  • Place of Presentation: ZoeMatrope: A System for Physical Material Design
  • Year and Date: 2016-07-24
  • Int'l Joint Research
• [Presentation] 高速プロジェクタの衝撃 (2016)
  • Author(s): 渡辺義浩
  • Organizer: プロジェクションディスプレイ技術研究会
  • Place of Presentation: 東京都目黒区, 東京大学
  • Invited
• [Presentation] 高速性がもたらす実世界把握・提示の新展開 (2016)
  • Author(s): 渡辺義浩
  • Organizer: 第77回応用物理学会秋季学術講演会
  • Place of Presentation: 新潟県新潟市, 朱鷺メッセ：新潟コンベンションセンター
  • Invited
• [Presentation] ZoeMatrope for realistic and augmented materials (2016)
  • Author(s): Leo Miyashita, Kota Ishihara, Yoshihiro Watanabe and Masatoshi Ishikawa
  • Organizer: SIGGRAPH Asia 2016, Workshops, Virtual Reality meets Physical Reality: Modelling and Simulating Virtual Humans and Environments
  • Place of Presentation: The Venetian Macao, Macao, China
  • Int'l Joint Research / Invited
• [Presentation] Phyxel: Realistic Display of Shape and Appearance using Physical Objects with High-speed Pixelated Lighting (2016)
  • Author(s): Takatoshi Yoshida, Yoshihiro Watanabe, and Masatoshi Ishikawa
  • Organizer: Annual Symposium on User Interface Software and Technology
  • Place of Presentation: National Center of Sciences Building, Tokyo, Japan
  • Int'l Joint Research
• [Presentation] 実物体の周期運動と高速時分割構造化光を用いた形状と質感を再現するリアリスティックィディスプレイ (2016)
  • Author(s): 吉田 貴寿, 渡辺 義浩, 石川 正俊
  • Organizer: 第21回日本バーチャルリアリティ学会大会
  • Place of Presentation: 茨城県つくば市, つくば国際会議場
• [Presentation] 動的投影のための投影型不可視マーカーによる3 次元トラッキングに関する研究 (2016)
  • Author(s): 吉田健太郎，龍野翔，渡辺義浩，石川正俊
  • Organizer: 第22回画像センシングシンポジウム
  • Place of Presentation: 神奈川県横浜市, パシフィコ横浜
• [Remarks] TransMaterial: 高速ビジョン・プロジェクタに基づいた動的質感再現
  • URL: http://www.k2.t.u-tokyo.ac.jp/vision/TransMaterial/
• [Remarks] Phyxel
  • URL: http://www.k2.t.u-tokyo.ac.jp/vision/Phyxel/index-j.html
• [Remarks] ZoeMatrope
  • URL: http://www.k2.t.u-tokyo.ac.jp/vision/ZoeMatrope/index-j.html