ライトフィールドカメラを用いた複合現実感及び隠消現実感に関する研究

2018 年度 実績報告書

• 研究課題/領域番号: 16J05114
• 研究機関: 慶應義塾大学
• 研究代表者: 森 尚平 慶應義塾大学, 理工学部, 特別研究員(PD)
• 研究期間 (年度): 2016-04-22 – 2019-03-31
• キーワード: 複合現実感 / 隠消現実感 / 多視点カメラ / Light Field Rendering / Image-Based Rendering

研究実績の概要

本研究の目的は，実空間に仮想物体を実時間合成する複合現実感 (Mixed Reality; MR) と実空間から実物体を実時間除去する隠消現実感 (Diminished Reality; DR) における，ライトフィールドデータの利用方法の模索，手法の提案，実動作するシステム開発を通した実証である．本年度は，就職先の決定に伴い研究終了時期が早まったため，早期にこれまでの成果を学術論文としてまとめることに注力した．
具体的には，実物体を視覚的に隠蔽・消去・透過する技術であるDRに関する「ライトフィールドの概念に基づく多視点カメラを用いた手法の開発と評価」を行い，国内外の論文誌や会議へと投稿，採択された．主に，ライトフィールドデータに含まれる視覚的に不要なフェンスを除去する技術や医療用教示映像を作成する際に写る医師の頭部や手を透かして見せる応用技術を報告した．そして，MRに関連して，スポーツ分野における競技者の重心位置推定のために多視点カメラを用いた手法を応用した結果を報告した．
上記に加え，留学先にて着手した類似研究，多視点RGB-D画像（カラー画像とカラー画像に位置合わせされた奥行画像の組）シーケンスを用いた画像修復技術（不可視光線情報を周辺領域及び過去の光線情報から推定する手法）の研究も進め，国際会議に採択された．更に，DR/MRにおける研究活動を周辺分野に周知させる目的で昨年度に行った国外での招待講演が評価され，内容を再編集して投稿したOverview論文が国外論文誌へと採録された．また，拡張現実感，コンピュータビジョンと機械学に関する英書を習周辺分野の研究者たちと協力して翻訳した訳本を2冊出版した．

現在までの達成度 (段落)

平成30年度が最終年度であるため、記入しない。

今後の研究の推進方策

平成30年度が最終年度であるため、記入しない。

研究成果

• [国際共同研究] ICG, Graz University of Technology(オーストリア)
  • 国名: オーストリア
  • 外国機関名: ICG, Graz University of Technology
• [雑誌論文] Removing fences from sweep motion videos using global 3D reconstruction and fence-aware light field rendering (2018)
  • 著者名/発表者名: Lueangwattana Chanya, Mori Shohei, and Saito Hideo
  • 雑誌名: Computational Visual Media 巻: 5 ページ: 1 - 12
  • DOI: 10.1007/s41095-018-0126-8
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] An overview of augmented visualization: observing the real world as desired (2018)
  • 著者名/発表者名: Mori Shohei and Saito Hideo
  • 雑誌名: APSIPA Transactions on Signal and Information Processing 巻: 7 ページ: 1 - 9
  • DOI: 10.1017/ATSIP.2018.13
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Superimposing Thermal-Infrared Data on 3D Structure Reconstructed by RGB Visual Odometry (2018)
  • 著者名/発表者名: Masahiro Yamaguchi, Trong-Phuc Truong, Shohei Mori, Vincent Nozick, Hideo Saito, Shoji Yachida, and Hideaki Sato
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E101.D ページ: 1296 - 1307
  • DOI: 10.1587/transinf.2017MVP0023
  • 査読あり / オープンアクセス / 国際共著
• [学会発表] マルチカメラ搭載型無影灯を使用した手術動画を利用した作業領域のDR表示 (2019)
  • 著者名/発表者名: 前澤桃子，大石圭，森尚平，斎藤英雄，梶田大樹，高詰佳史
  • 学会等名: 研究報告コンピュータビジョンとイメージメディア
• [学会発表] Perceived Weight of a Rod under Augmented and Diminished Reality Visual Effects (2018)
  • 著者名/発表者名: Satoshi Hashiguchi, Shohei Mori, Miho Tanaka, Fumihisa Shibata, and Asako Kimura
  • 学会等名: The ACM Symp. on Virtual Reality Software and Technology
  • 国際学会
• [学会発表] Diminishing Fence from Sweep Image Sequences Using Structure from Motion and Light Field Rendering (2018)
  • 著者名/発表者名: Chanya Lueangwattana, Shohei Mori, and Hideo Saito
  • 学会等名: Asia Pacific Workshop on Mixed and Augmented Reality
  • 国際学会
• [学会発表] 3D PixMix: Image Inpainting in 3D Environment (2018)
  • 著者名/発表者名: Shohei Mori, Jan Herling, Wolfgang Broll, Norihiko Kawai, Hideo Saito, Dieter Schmalstieg, and Denis Kalkofen
  • 学会等名: IEEE Int. Symp. on Mixed and Augmented Reality (ISMAR)-Adjunct
  • 国際学会
• [学会発表] Estimation of Center of Mass for Sports Scene Using Weighted Visual Hull (2018)
  • 著者名/発表者名: Tomoya Kaichi, Shohei Mori, Hideo Saito, Kosuke Takahashi, Dan Mikami, Mariko Isogawa, and Hideaki Kimata
  • 学会等名: IEEE Conf. on Computer Vision and Pattern Recognition Workshops
  • 国際学会
• [図書] ARの教科書 (2018)
  • 著者名/発表者名: （著）Dieter Schmalstieg，Tobias Hollerer，（編）池田聖，酒田信親，山本豪志朗，（訳）池田聖，一刈良介，大槻麻衣，河合紀彦，酒田信親，武富貴史，藤本雄一郎，森尚平，山本豪志朗
  • 総ページ数: 528
  • 出版者: マイナビ出版
  • ISBN: 978-4-8399-6536-5
• [図書] OpenCVとPythonによる機械学習プログラミング (2018)
  • 著者名/発表者名: （著）Michael Beyeler，（訳）池田聖，浦西友樹，中島悠太，森尚平，山添大丈，山本豪志朗
  • 総ページ数: 352
  • 出版者: マイナビ出版
  • ISBN: 978-4-8399-6530-3
• [備考] 自身の研究成果をまとめたWebサイト
  • URL: https://mugichoko445.bitbucket.io/