移動機構を導入した多眼カメラによるリアルタイム自由視点映像生成

• 研究課題/領域番号: 24700162
• 研究種目: 若手研究(B)
• 配分区分: 基金
• 研究分野: 知覚情報処理・知能ロボティクス
• 研究機関: 名古屋大学 (2013-2014); 電気通信大学 (2012)
• 研究代表者: 高橋 桂太 名古屋大学, 工学(系)研究科(研究院), 准教授 (30447437)
• 研究期間 (年度): 2012-04-01 – 2015-03-31
• 研究課題ステータス: 完了 (2014年度)
• 配分額: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円); 2014年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円); 2013年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円); 2012年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
• キーワード: 画像情報処理 / 自由視点映像

研究成果の概要

人物等の動的な対象をリアルタイムに観察できる自由視点カメラにおいて，広範囲の視点移動の実現を目指した．この目的に向けて，カメラを電動プラットフォームに搭載して物理的に移動させるハードウェア的アプローチと，多眼カメラを通して取得される映像の補間によってリアルタイムに自由視点映像を生成するソフトウェア的アプローチを融合する枠組みの構築に取り組んだ．特に，多眼カメラの移動中に途切れることなく自然な映像を生成するため，カメラの自己位置推定に基づいて座標を補償する手法，および，多眼カメラを最適な位置に移動するため，電動プラットフォームをスムーズに制御する手法を開発し，実験によってその有効性を確かめた．

研究成果

• [雑誌論文] Real-Time Free-Viewpoint Image Synthesis System Using Time Varying Projection (2014)
  • 著者名/発表者名: Tatsuro Mori, Keita Takahashi, Toshiaki Fujii
  • 雑誌名: ITE Transactions on Media Technology and Applications 巻: 2 ページ: 370-377
  • 査読あり / オープンアクセス
• [雑誌論文] 自由視点映像生成のための自然特徴点を用いた多眼カメラの自己位置推定法 (2013)
  • 著者名/発表者名: 高橋 桂太, 金子 正秀
  • 雑誌名: 電子情報通信学会和文論文誌 巻: J96-D ページ: 2010-2012
  • 査読あり
• [雑誌論文] ダウンサンプリングされた光線空間データのレート歪み特性についての一考察 (2013)
  • 著者名/発表者名: 高橋 桂太
  • 雑誌名: 電子情報通信学会和文論文誌 巻: J96-D ページ: 1978-1980
  • 査読あり
• [雑誌論文] 自由視点映像生成のための自然特徴点を用いた多眼カメラの自己位置推定法 (2013)
  • 著者名/発表者名: 高橋 桂太, 金子 正秀
  • 雑誌名: 電子情報通信学会和文論文誌D 巻: J96-D, No. 9
  • 査読あり
• [学会発表] Free-viewpoint Video Synthesis from a Movable 2D Camera Array (2015)
  • 著者名/発表者名: Shunsuke Yamada, Keita Takahashi, Kenji Sawada, Mehrdad Panahpour Tehrani, Toshiaki Fujii
  • 学会等名: The 1st International Conference on Advanced Imaging
  • 発表場所: National Center of Science (Tokyo, Japan)
  • 年月日: 2015-06-17 – 2015-06-19
• [学会発表] 可動型多眼カメラによる自由視点映像生成 (2015)
  • 著者名/発表者名: 山田 隼輔, 高橋 桂太, 澤田 賢治, パナヒプル テヘラニ メヒルダド, 藤井 俊彰
  • 学会等名: 画像センシングシンポジウム
  • 発表場所: パシフィコ横浜（神奈川県横浜市）
  • 年月日: 2015-06-10 – 2015-06-12
• [学会発表] Least MSE Regression for View Synthesis (2014)
  • 著者名/発表者名: Keita Takahashi, Toshiaki Fujii
  • 学会等名: International Conference on 3D Vision
  • 発表場所: The University of Tokyo (Tokyo, Japan)
  • 年月日: 2014-12-08 – 2014-12-11
• [学会発表] 可動型多眼カメラによる自由視点映像生成における回転機構導入のための基礎検討 (2014)
  • 著者名/発表者名: 山田 隼輔, 高橋 桂太, パナヒプル テヘラニ メヒルダド, 藤井 俊彰
  • 学会等名: 映像メディア処理シンポジウム
  • 発表場所: ラフォーレ修善寺（静岡県伊豆市）
  • 年月日: 2014-11-12 – 2014-11-14
• [学会発表] 自由視点映像生成のための多眼カメラの位置制御手法の基礎検討 (2014)
  • 著者名/発表者名: ④山田 隼輔, 高橋 桂太, パナヒプル テヘラニ メヒルダド, 藤井 俊彰
  • 学会等名: 電気・電子・情報関係学会東海支部連合大会
  • 発表場所: 中京大学名古屋キャンパス（愛知県名古屋市）
  • 年月日: 2014-09-08 – 2014-09-09
• [学会発表] 可動型多眼カメラによる自由視点映像生成のための光線空間の解析 (2014)
  • 著者名/発表者名: 山田 隼輔，高橋 桂太，パナヒプル テヘラニ メヒルダド，藤井 俊彰
  • 学会等名: 画像の認識・理解シンポジウム
  • 発表場所: 岡山コンベンションセンター（岡山県岡山市）
  • 年月日: 2014-07-28 – 2014-07-31
• [学会発表] Development of free-viewpoint image synthesis system using time varying projection and spacetime stereo (2014)
  • 著者名/発表者名: Tatsuro Mori, Keita Takahashi, Toshiaki Fujii
  • 学会等名: IS&T/ Electronic Imaging 2014
  • 発表場所: San Francisco, California, USA
• [学会発表] アクティブ投影を用いた自由視点映像生成システムの基礎検討 (2013)
  • 著者名/発表者名: 森 達郎, 高橋 桂太, 藤井 俊彰
  • 学会等名: 映像メディア処理シンポジウム
  • 発表場所: 静岡県熱海市
• [学会発表] 自由視点映像生成のための自然特徴点を用いた多眼カメラの自己位置推定法 (2012)
  • 著者名/発表者名: 高橋 桂太, 金子 正秀
  • 学会等名: 映像メディア処理シンポジウム (IMPS2012)
  • 発表場所: 静岡県熱海市
• [備考] Pseudo Stabilization Using a Multi-View Camera
  • URL: http://youtu.be/FE2QIzoAaTY
• [備考] Camera Array Project
  • URL: http://www.fujii.nuee.nagoya-u.ac.jp/~takahasi/Research/CamArray/
• [備考] Pseudo Stabilization Using a Multi-View Camera
  • URL: http://youtu.be/FE2QIzoAaTY
• [備考] Camera Array Project
  • URL: http://www.fujii.nuee.nagoya-u.ac.jp/~takahasi/Research/CamArray/
• [備考] Pseudo Stabilization Using a Multi-View Camera
  • URL: http://youtu.be/FE2QIzoAaTY