超高速PROCAMSとパーティクル型ディスプレイへの応用

• 研究課題/領域番号: 16H02856
• 研究種目: 基盤研究(B)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: ヒューマンインタフェース・インタラクション
• 研究機関: 東京工業大学
• 研究代表者: 小池 英樹 東京工業大学, 情報理工学院, 教授 (70234664)
• 研究期間 (年度): 2016-04-01 – 2020-03-31
• 研究課題ステータス: 完了 (2020年度)
• 配分額: 16,120千円 (直接経費: 12,400千円、間接経費: 3,720千円); 2019年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円); 2018年度: 3,120千円 (直接経費: 2,400千円、間接経費: 720千円); 2017年度: 4,030千円 (直接経費: 3,100千円、間接経費: 930千円); 2016年度: 6,630千円 (直接経費: 5,100千円、間接経費: 1,530千円)
• キーワード: 立体ディスプレイ / モーションキャプチャ / 実時間追跡 / プロジェクション / プロジェクションマッピング / カルマンフィルタ / 予測投影 / 3次元ディスプレイ / プロジェクション・マッピング / ３次元ディスプレイ

研究成果の概要

静的な物体へのプロジェクションマッピングと異なり，高速に移動する物体へのプロジェクションでは投影の遅延が発生する．これに対し，従来研究ではカルマンフィルタを用いて物体の位置を予測する手法が提案されていたが，3次元的な形状の物体への投影には対応していなかった．そこで本研究では深層学習を用いて物体の運動を学習し，約0.5秒後の物体の3次元位置と3次元姿勢を同時に予測し，投影を行うことで上記遅延の解決を試みた．実験の結果，予測なし，カルマンフィルタ予測のみの場合と比べて投影精度の向上を実現することができた．

研究成果の学術的意義や社会的意義

近年，プロジェクションマッピングが一般化しているが，これらは建築物や低速で移動する物体のみを対象としていた．これに対し，本研究は，高速に移動する任意の形状の物体への正確なプロジェクションマッピングを実現した．本研究成果は，今後，立体ディスプレイへの応用，さらには，舞台芸術，テーマパーク，さらにはスポーツ等への応用が期待できる．

研究成果

• [雑誌論文] Qoom: An Interactive Omnidirectional Ball Display (2017)
  • 著者名/発表者名: Miyafuji Shio、Sato Toshiki、Li Zhengqing、Koike Hideki
  • 雑誌名: Proceedings of the 30th Annual ACM Symposium on User Interface Software and Technology 巻: UIST2017 ページ: 599-609
  • DOI: 10.1145/3126594.3126607
  • 査読あり
• [学会発表] MirAIProjection: Real-time Projection onto High-speed Objects by Predicting Their 3D Position and Pose using DNNs (2020)
  • 著者名/発表者名: Maeda Kosuke、Koike Hideki
  • 学会等名: AVI '20: Proceedings of the International Conference on Advanced Visual Interfaces
  • 国際学会
• [学会発表] Ballumiere: Real-Time Tracking and Spherical Projection for High-Speed Moving Balls (2016)
  • 著者名/発表者名: Shio Miyafuji, Masato Sugasaki, Hideki Koike
  • 学会等名: the 2016 ACM on Interactive Surfaces and Spaces (ISS'16)
  • 発表場所: Niagara Falls, Canada
  • 年月日: 2016-11-06
  • 国際学会
• [学会発表] Ballumiere: Real-Time Tracking and Projection for High-Speed Moving Balls (2016)
  • 著者名/発表者名: Shio Miyafuji, Masato Sugasaki, Hideki Koike
  • 学会等名: the 29th Annual Symposium on User Interface Software and Technology (UIST2016)
  • 発表場所: Tokyo Japan
  • 年月日: 2016-10-16
  • 国際学会
• [備考] Ballumiere
  • URL: http://www.vogue.cs.titech.ac.jp/projects/vision-based-hci/ballumiere