Study of 3D Reconstruction for Alive Virtual World with a Casually Captured Video Sequence

• Project/Area Number: 23680011
• Research Category: Grant-in-Aid for Young Scientists (A)
• Allocation Type: Single-year Grants
• Research Field: Media informatics/Database
• Research Institution: The University of Tokyo
• Principal Investigator: NISHIMURA Kunihiro 東京大学, 先端科学技術研究センター, 客員研究員 (70451797)
• Co-Investigator(Renkei-kenkyūsha): TANIKAWA Tomohiro 東京大学, 大学院・情報理工学系研究科, 講師 (80418657)
• Project Period (FY): 2011 – 2012
• Project Status: Completed (Fiscal Year 2012)
• Budget Amount: ¥21,840,000 (Direct Cost: ¥16,800,000、Indirect Cost: ¥5,040,000); Fiscal Year 2012: ¥9,880,000 (Direct Cost: ¥7,600,000、Indirect Cost: ¥2,280,000); Fiscal Year 2011: ¥11,960,000 (Direct Cost: ¥9,200,000、Indirect Cost: ¥2,760,000)
• Keywords: バーチャルリアリティ / 可視化 / 3次元空間 / VR空間 / 動画 / 重畳 / 動的な3次元空間 / 現地再生 / 領域型バーチャルタイムマシン / 3次元再構成 / 3次元データ / データベース / 空間再構成 / 領域バーチャルタイムマシン / 距離画像カメラ

Research Abstract

This study has developed the system to reconstruct 3D virtual world using photos and movies that are easy to be taken. We focused on introducing moving objects and moving textures to the 3D virtual world in order to enhance a sense of live. We have also developed the augmented reality system to overlay movies on real world. Our developed technologies are opened to the public as a part of an artwork at the exhibition at Tokyo-Station and Osaka.

Research Products

• [Journal Article] 交通系ICカードを用いた公共空間でのインタラクション:パブリックアートを通じた実証実験 (2012)
  • Author(s): 西村邦裕,鈴木康広,牛込陽介,鳥越祐輔,鳴海拓志,佐藤宗彦,谷川智洋,廣瀬通孝
  • Journal Title: 情報処理学会論文誌 Volume: Vol.53,No.4 Pages: 1307-1318
  • NAID: 110009423582
• [Journal Article] 交通系ICカードを用いた公共空間でのインタラクション：パブリックアートを通じた実証実験 (2012)
  • Author(s): 西村 邦裕，鈴木 康広，牛込 陽介，鳥越 祐輔，鳴海 拓志，佐藤 宗彦，谷川 智洋，廣瀬 通孝
  • Journal Title: 情報処理学会論文誌 Volume: Vol.53，No.4 Pages: 1307-1318
  • NAID: 110009423582
  • Peer Reviewed
• [Journal Article] 領域型バーチャルタイムマシン-過去の写真の撮影位置への誘導と現在風景への重畳 (2011)
  • Author(s): 仲野潤一,笠田和宏,西村邦裕,谷川智洋,廣瀬通孝
  • Journal Title: 情報処理学会論文誌 Volume: Vol.52,No.12 Pages: 3611-3624
• [Journal Article] 領域型バーチャルタイムマシン―過去の写真の撮影位置への誘導と現在風景への重畳 (2011)
  • Author(s): 仲野 潤一，笠田 和宏，西村 邦裕，谷川 智洋，廣瀬 通孝
  • Journal Title: 情報処理学会論文誌 Volume: Vol.52，No.12 Pages: 3611-3624
  • Peer Reviewed
• [Presentation] Train Window of Container: Visual and Auditory Representation of Train Movement (2012)
  • Author(s): Kunihiro Nishimura, Yasuhiro Suzuki, Munehiko Sato, Oribe Hayashi, Yang LiWei, Kentaro Kimura, Shinya Nishizaka, Yusuke Onojima, Yuki Ban, Yuma Muroya, Shigeo Yoshida and Michitaka Hirose
  • Organizer: ACM ACE(International Conference on Advances in Computer Entertainment Technology)
• [Presentation] Recording and Superimposing Visitors in a Museum for Sharing Exhibition Experiences (2012)
  • Author(s): Totaro Nakashima, Toshiki Takeuchi, Kunihiro Nishimura, Takuji Narumi, Tomohiro Tanikawa, and Michitaka Hirose
  • Organizer: 18th International Conference on Virtual Systems and Multimedia(VSMM 2012)
• [Presentation] 拡張現実感による映像追体験のための行動誘導 (2012)
  • Author(s): 荒川卓也,笠田和宏,西村邦裕,鳴海拓志,谷川智洋,廣瀬通孝
  • Organizer: 第17回日本バーチャルリアリティ学会大会論文集
• [Presentation] モバイルデバイス上での領域型バーチャルタイムマシンの実現 (2012)
  • Author(s): 仲野潤一,井村純,鳴海拓志,西村邦裕,谷川智洋,廣瀬通孝
  • Organizer: 第17回日本バーチャルリアリティ学会大会論文集
• [Presentation] Recording and Superimposing Visitors in a Museum for Sharing Exhibition Experiences (2012)
  • Author(s): Totaro Nakashima, Toshiki Takeuchi, Kunihiro Nishimura, Takuji Narumi, Tomohiro Tanikawa, and Michitaka Hirose
  • Organizer: 18th International Conference on Virtual Systems and Multimedia (VSMM 2012)
  • Place of Presentation: Milan, Italy
• [Presentation] 拡張現実感による映像追体験のための行動誘導 (2012)
  • Author(s): 荒川卓也、笠田和宏、西村邦裕、鳴海拓志、谷川智洋、廣瀬通孝
  • Organizer: 第17回日本バーチャルリアリティ学会大会
  • Place of Presentation: 慶応義塾大学, 東京
• [Presentation] モバイルデバイス上での領域型バーチャルタイムマシンの実現 (2012)
  • Author(s): 仲野潤一、井村純、鳴海拓志、西村邦裕、谷川智洋、廣瀬通孝
  • Organizer: 第17回日本バーチャルリアリティ学会大会
  • Place of Presentation: 慶応義塾大学, 東京
• [Presentation] PRIMA --A System for Interaction among Different Time Using Multiple Kinect Sensors -- (2011)
  • Author(s): Toshiki Takeuchi, Totaro Nakashima, Kunihiro Nishimura,TomohiroTanikawa, Takuji Narumi and Michitaka Hirose
  • Organizer: ASIAGRAPH 2011 in Tokyo Proceedings
• [Presentation] PRIMA:Parallel Reality-based Interactive Motion Area (2011)
  • Author(s): Toshiki Takeuchi, Totaro Nakashima, Kunihiro Nishimura and Michitaka Hirose
  • Organizer: SIGGRAPH 2011
• [Presentation] 複数の深度カメラを用いた空間ライフログシステムの構築 (2011)
  • Author(s): 竹内俊貴,中島統太郎,西村邦裕,谷川智洋,廣瀬通孝
  • Organizer: 日本バーチャルリアリティ学会大会論文集
• [Presentation] 記録された三次元映像の実世界重畳による展示物の背景情報の伝達 (2011)
  • Author(s): 中島統太郎,竹内俊貴,鳴海拓志,西村邦裕,谷川智洋,廣瀬通孝
  • Organizer: 日本バーチャルリアリティ学会大会論文集,日本バーチャルリアリティ学会第16回大会
• [Presentation] 動画像を用いた時間方向に拡張されたVR空間構成に関する研究 (2011)
  • Author(s): 山崎充彦,鳥越祐輔,鳴海拓志,西村邦裕,谷川智洋,廣瀬通孝
  • Organizer: 日本バーチャルリアリティ学会大会論文集
• [Presentation] 撮影位置推定を用いた動画像における空間提示システム (2011)
  • Author(s): 笠田和宏,仲野潤一,鳴海拓志,西村邦裕,谷川智洋,廣瀬通孝
  • Organizer: 日本バーチャルリアリティ学会大会論文集
• [Presentation] 領域型バーチャルタイムマシンによる現在の風景への過去の動画の重畳 (2011)
  • Author(s): 仲野潤一,笠田和宏,鳴海拓志,西村邦裕,谷川智洋,廣瀬通孝
  • Organizer: 日本バーチャルリアリティ学会大会論文集
• [Presentation] PRIMA:複数Kinectを用いた異時間インタラクションシステム (2011)
  • Author(s): 中島統太郎,竹内俊貴,西村邦裕,谷川智洋,廣瀬通孝
  • Organizer: コンピュータエンターテインメントデベロッパーズカンファレンス2011(CEDEC2011)
• [Presentation] 高精細大画面ディスプレイを利用した可視化を対象とする視線位置に応じたインタラクティブな情報認識支援システム (2011)
  • Author(s): 荒川卓也,山崎充彦,林織部,西村邦裕,谷川智洋,廣瀬通孝
  • Organizer: 電子情報通信学会技術研究報告
• [Presentation] PRIMA～異なる時間軸上のユーザとのインタラクションを実現するシステム～ (2011)
  • Author(s): 竹内俊貴,中島統太郎,西村邦裕,谷川智洋,廣瀬通孝
  • Organizer: 電子情報通信学会技術研究報告
• [Presentation] PRIMA : Parallel Reality-based Interactive Motion Area (2011)
  • Author(s): Toshiki Takeuchi, Totaro Nakashima, Kunihiro Nishimura and Michitaka Hirose
  • Organizer: SIGGRAPH 2011
  • Place of Presentation: Vancouver, CANADA
• [Presentation] 領域型バーチャルタイムマシンによる現在の風景への過去の動画の重畳 (2011)
  • Author(s): 仲野潤一、笠田和宏、鳴海拓志、西村邦裕、谷川智洋、廣瀬通孝
  • Organizer: 第16回日本バーチャルリアリティ学会大会
  • Place of Presentation: 公立はこだて未来大学
• [Presentation] 撮影位置推定を用いた動画像における空間提示システム (2011)
  • Author(s): 笠田和宏、仲野潤一、鳴海拓志、西村邦裕、谷川智洋、廣瀬通孝
  • Organizer: 第16回日本バーチャルリアリティ学会大会
  • Place of Presentation: 公立はこだて未来大学
• [Presentation] 動画像を用いた時間方向に拡張されたVR空間構成に関する研究 (2011)
  • Author(s): 山崎充彦、鳥越祐輔、鳴海拓志、西村邦裕、谷川智洋、廣瀬通孝
  • Organizer: 第16回日本バーチャルリアリティ学会大会
  • Place of Presentation: 公立はこだて未来大学
• [Presentation] 記録された三次元映像の実世界重畳による展示物の背景情報の伝達 (2011)
  • Author(s): 中島統太郎、竹内俊貴、鳴海拓志、西村邦裕、谷川智洋、廣瀬通孝
  • Organizer: 第16回日本バーチャルリアリティ学会大会
  • Place of Presentation: 公立はこだて未来大学
• [Presentation] 複数の深度カメラとスマートフォンを用いた空間ライフログシステムの構築 (2011)
  • Author(s): 竹内俊貴、中島統太郎、西村邦裕、谷川智洋、廣瀬通孝
  • Organizer: 第16回日本バーチャルリアリティ学会大会
  • Place of Presentation: 公立はこだて未来大学
• [Remarks]
  • URL: http://www.cyber.t.u-tokyo.ac.jp/~kuni/
• [Remarks] sharelog 3D，東京ステーションギャラリー ，2012/10/1 ～ 2013/2/24
  • URL: http://www.ejrcf.or.jp/gallery/pdf/121025.pdf
• [Remarks] Sharelog 3D，アクティブラボ, ナレッジキャピタル, 大阪, 2013/4/26～
  • URL: http://www.orix.co.jp/grp/pdf/news/130321_RealJ.pdf