ライトフィールドカメラを用いた複合現実感及び隠消現実感に関する研究

• 研究課題/領域番号: 16J05114
• 研究種目: 特別研究員奨励費
• 配分区分: 補助金
• 応募区分: 国内
• 研究分野: 知覚情報処理
• 研究機関: 慶應義塾大学
• 研究代表者: 森 尚平 慶應義塾大学, 理工学部, 特別研究員(PD)
• 研究期間 (年度): 2016-04-22 – 2019-03-31
• 研究課題ステータス: 完了 (2018年度)
• 配分額: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円); 2018年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円); 2017年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円); 2016年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
• キーワード: 複合現実感 / 隠消現実感 / 多視点カメラ / Light Field Rendering / Image-Based Rendering / Multi-View Cameras

研究実績の概要

本研究の目的は，実空間に仮想物体を実時間合成する複合現実感 (Mixed Reality; MR) と実空間から実物体を実時間除去する隠消現実感 (Diminished Reality; DR) における，ライトフィールドデータの利用方法の模索，手法の提案，実動作するシステム開発を通した実証である．本年度は，就職先の決定に伴い研究終了時期が早まったため，早期にこれまでの成果を学術論文としてまとめることに注力した．
具体的には，実物体を視覚的に隠蔽・消去・透過する技術であるDRに関する「ライトフィールドの概念に基づく多視点カメラを用いた手法の開発と評価」を行い，国内外の論文誌や会議へと投稿，採択された．主に，ライトフィールドデータに含まれる視覚的に不要なフェンスを除去する技術や医療用教示映像を作成する際に写る医師の頭部や手を透かして見せる応用技術を報告した．そして，MRに関連して，スポーツ分野における競技者の重心位置推定のために多視点カメラを用いた手法を応用した結果を報告した．
上記に加え，留学先にて着手した類似研究，多視点RGB-D画像（カラー画像とカラー画像に位置合わせされた奥行画像の組）シーケンスを用いた画像修復技術（不可視光線情報を周辺領域及び過去の光線情報から推定する手法）の研究も進め，国際会議に採択された．更に，DR/MRにおける研究活動を周辺分野に周知させる目的で昨年度に行った国外での招待講演が評価され，内容を再編集して投稿したOverview論文が国外論文誌へと採録された．また，拡張現実感，コンピュータビジョンと機械学に関する英書を習周辺分野の研究者たちと協力して翻訳した訳本を2冊出版した．

現在までの達成度 (段落)

平成30年度が最終年度であるため、記入しない。

今後の研究の推進方策

平成30年度が最終年度であるため、記入しない。

研究成果

• [国際共同研究] ICG, Graz University of Technology(オーストリア)
• [雑誌論文] Superimposing Thermal-Infrared Data on 3D Structure Reconstructed by RGB Visual Odometry (2018)
  • 著者名/発表者名: Masahiro Yamaguchi, Trong-Phuc Truong, Shohei Mori, Vincent Nozick, Hideo Saito, Shoji Yachida, and Hideaki Sato
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E101.D 号: 5 ページ: 1296-1307
  • DOI: 10.1587/transinf.2017MVP0023
  • NAID: 130006729794
  • ISSN: 0916-8532, 1745-1361
  • 年月日: 2018-05-01
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Removing fences from sweep motion videos using global 3D reconstruction and fence-aware light field rendering (2018)
  • 著者名/発表者名: Lueangwattana Chanya, Mori Shohei, and Saito Hideo
  • 雑誌名: Computational Visual Media 巻: 5 号: 1 ページ: 1-12
  • DOI: 10.1007/s41095-018-0126-8
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] An overview of augmented visualization: observing the real world as desired (2018)
  • 著者名/発表者名: Mori Shohei and Saito Hideo
  • 雑誌名: APSIPA Transactions on Signal and Information Processing 巻: 7 号: 1 ページ: 1-9
  • DOI: 10.1017/atsip.2018.13
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] A Work Area Visualization by Multi-View Camera-Based Diminished Reality (2017)
  • 著者名/発表者名: Shohei Mori, Momoko Maezawa, and Hideo Saito
  • 雑誌名: Trans. on MDPI Multimodal Technologies and Interaction 巻: 1 号: 3 ページ: 1-12
  • DOI: 10.3390/mti1030018
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] A Survey of Diminished Reality: Techniques for Visually Concealing, Eliminating, and Seeing Through Real Objects (2017)
  • 著者名/発表者名: Shohei Mori, Sei Ikeda, and Hideo Saito
  • 雑誌名: IPSJ Trans. on Computer Vision and Applications 巻: 9 号: 1 ページ: 1-14
  • DOI: 10.1186/s41074-017-0028-1
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] 回転台を用いて撮像した多視点画像列による工業部品の外観検査 (2017)
  • 著者名/発表者名: 鶏内朋也，森尚平，斎藤英雄，菅野純一，足立秀之
  • 雑誌名: 精密工学会誌 巻: 83 号: 12 ページ: 1184-1191
  • DOI: 10.2493/jjspe.83.1184
  • NAID: 130006243020
  • ISSN: 0912-0289, 1882-675X
  • 査読あり / オープンアクセス
• [雑誌論文] 魚眼力メラと3D-LIDARを用いた自由視点画像によるSee-Through Vision (2017)
  • 著者名/発表者名: 大石圭，森尚平，斎藤英雄
  • 雑誌名: 映像情報メディア学会誌 巻: 71 号: 11 ページ: J276-J279
  • DOI: 10.3169/itej.71.J276
  • NAID: 130006179637
  • ISSN: 1342-6907, 1881-6908
  • 査読あり / オープンアクセス
• [雑誌論文] 隠消現実感体験時の両眼視野不整合に関する考察 (2017)
  • 著者名/発表者名: 森 尚平、池田 聖、松木 ひとみ、松永 知典、柴田 史久、木村 朝子、田村 秀行
  • 雑誌名: 日本バーチャルリアリティ学会論文誌 巻: 22 号: 2 ページ: 251-258
  • DOI: 10.18974/tvrsj.22.2_251
  • NAID: 130005701331
  • ISSN: 1344-011X, 2423-9593
  • 査読あり / オープンアクセス
• [雑誌論文] カメラ位置姿勢推定のための3次元形状の冗長な線分除去 (2017)
  • 著者名/発表者名: 家永直人，Siim Meerits，森尚平，斎藤英雄
  • 雑誌名: 映像情報メディア学会誌 巻: 71 号: 6 ページ: J189-J191
  • DOI: 10.3169/itej.71.J189
  • NAID: 130005678894
  • ISSN: 1342-6907, 1881-6908
  • 査読あり / オープンアクセス
• [雑誌論文] 隠消現実感技術を用いた映画制作支援システムの開発と運用 (2016)
  • 著者名/発表者名: 李金霞，斉藤純哉，森尚平，池田聖，柴田史久，木村朝子，田村秀行
  • 雑誌名: 日本バーチャルリアリティ学会論文誌 巻: 21 号: 3 ページ: 451-462
  • DOI: 10.18974/tvrsj.21.3_451
  • NAID: 130005268391
  • ISSN: 1344-011X, 2423-9593
  • 査読あり / オープンアクセス
• [雑誌論文] DOMINO Toppling: 実物体と仮想物体のシームレスな遷移を可能にしたMRアトラクション (2016)
  • 著者名/発表者名: 平田遼太郎，石橋朋果，チェカネイ，森尚平，池田聖，柴田史久，木村朝子，田村秀行
  • 雑誌名: 日本バーチャルリアリティ学会論文誌 巻: 21 号: 3 ページ: 463-472
  • DOI: 10.18974/tvrsj.21.3_463
  • NAID: 130005268393
  • ISSN: 1344-011X, 2423-9593
  • 査読あり / オープンアクセス
• [雑誌論文] [Paper] Design and Construction of Data Acquisition Facilities for Diminished Reality Research (2016)
  • 著者名/発表者名: Shohei Mori, Yuya Eguchi, Sei Ikeda, Fumihisa Shibata, Asako Kimura, and Hideyuki Tamura
  • 雑誌名: ITE Transactions on Media Technology and Applications 巻: 4 号: 3 ページ: 259-268
  • DOI: 10.3169/mta.4.259
  • NAID: 130005161891
  • ISSN: 2186-7364
  • 査読あり / オープンアクセス / 国際共著 / 謝辞記載あり
• [学会発表] マルチカメラ搭載型無影灯を使用した手術動画を利用した作業領域のDR表示 (2019)
  • 著者名/発表者名: 前澤桃子，大石圭，森尚平，斎藤英雄，梶田大樹，高詰佳史
  • 学会等名: 研究報告コンピュータビジョンとイメージメディア
• [学会発表] Perceived Weight of a Rod under Augmented and Diminished Reality Visual Effects (2018)
  • 著者名/発表者名: Satoshi Hashiguchi, Shohei Mori, Miho Tanaka, Fumihisa Shibata, and Asako Kimura
  • 学会等名: The ACM Symp. on Virtual Reality Software and Technology
  • 国際学会
• [学会発表] Diminishing Fence from Sweep Image Sequences Using Structure from Motion and Light Field Rendering (2018)
  • 著者名/発表者名: Chanya Lueangwattana, Shohei Mori, and Hideo Saito
  • 学会等名: Asia Pacific Workshop on Mixed and Augmented Reality
  • 国際学会
• [学会発表] 3D PixMix: Image Inpainting in 3D Environment (2018)
  • 著者名/発表者名: Shohei Mori, Jan Herling, Wolfgang Broll, Norihiko Kawai, Hideo Saito, Dieter Schmalstieg, and Denis Kalkofen
  • 学会等名: IEEE Int. Symp. on Mixed and Augmented Reality (ISMAR)-Adjunct
  • 国際学会
• [学会発表] Estimation of Center of Mass for Sports Scene Using Weighted Visual Hull (2018)
  • 著者名/発表者名: Tomoya Kaichi, Shohei Mori, Hideo Saito, Kosuke Takahashi, Dan Mikami, Mariko Isogawa, and Hideaki Kimata
  • 学会等名: IEEE Conf. on Computer Vision and Pattern Recognition Workshops
  • 国際学会
• [学会発表] BrightView: Increasing Perceived Brightness of Optical See-Through Head-Mounted Displays Through Unnoticeable Incident Light Reduction (2018)
  • 著者名/発表者名: Shohei Mori, Sei Ikeda, Alexander Plopski, and Christian Sandor
  • 学会等名: IEEE Virtual Reality
  • 国際学会
• [学会発表] A Refocus-Interface for Diminished Reality Work Area Visualization (2018)
  • 著者名/発表者名: Momoko Maezawa, Shohei Mori, and Hideo Saito
  • 学会等名: Stereoscopic Displays and Applications at IS&T Electronic Imaging Symposium
  • 国際学会
• [学会発表] Multi-view Surface Inspection Using a Rotating Table (2018)
  • 著者名/発表者名: Tomoya Kaichi, Shohei Mori, Hideo Saito, Junichi Sugano, and Hideyuki Adachi
  • 学会等名: Intelligent Robotics and Industrial Applications Using Computer Vision at IS&T Electronic Imaging
  • 国際学会
• [学会発表] Augmented Visualization: Observing as Desired (2017)
  • 著者名/発表者名: Shohei Mori and Hideo Saito
  • 学会等名: APSIPA ASC
  • 国際学会 / 招待講演
• [学会発表] Augmented and Diminished Reality: Computational Imaging of Existence and Non-Existence (2017)
  • 著者名/発表者名: Shohei Mori
  • 学会等名: Int. Display Workshop
  • 国際学会 / 招待講演
• [学会発表] Reference Framework on vSRT-method Benchmarking for MAR (2017)
  • 著者名/発表者名: Ryosuke Ichikari, Takeshi Kurata, Koji Makita, Takefumi Taketomi, Hideaki Uchiyama, Tomotsugu Kondo, Shohei Mori, and Fumihisa Shibata
  • 学会等名: ICAT-EGVE
  • 国際学会
• [学会発表] Registration of RGB and Thermal Point Clouds Generated by Structure From Motion (2017)
  • 著者名/発表者名: Trong Phuc Truong, Masahiro Yamaguchi, Shohei Mori, Vincent Nozick, and Hideo Saito
  • 学会等名: Multi-Sensor Fusion for Dynamic Scene Understanding in IEEE Int. Conf. on Computer Vision
  • 国際学会
• [学会発表] Semantic Object Selection and Detection for Diminished Reality based on SLAM with Viewpoint Class (2017)
  • 著者名/発表者名: Yoshikatsu Nakajima, Shohei Mori, and Hideo Saito
  • 学会等名: ISMAR Adjunct
  • 国際学会
• [学会発表] An Instant See-Through Vision System Using a Wide Field-of-View Camera and a 3D-Lidar (2017)
  • 著者名/発表者名: Kei Oishi, Shohei Mori, and Hideo Saito
  • 学会等名: ISMAR Adjunct
  • 国際学会
• [学会発表] A Multi-view Camera-based Diminished Reality for Work Area Visualization (2017)
  • 著者名/発表者名: Momoko Maezawa, Shohei Mori, and Hideo Saito
  • 学会等名: Asia Pacific Workshop on Mixed and Augmented Reality
  • 国際学会
• [学会発表] Influence on Weight Sensation Caused by Visual Diminishing of Real Objects (2017)
  • 著者名/発表者名: Miho Tanaka, Ayushi Misra, Kana Oshima, Satoshi Hashiguchi, Shohei Mori, Fumihisa Shibata, Asako Kimura, and Hideyuki Tamura
  • 学会等名: Asia Pacific Workshop on Mixed and Augmented Reality
  • 国際学会
• [学会発表] Empowering a POB-Diminished Reality Method to Handle Rigid Moving Objects with Real-time Observation (2017)
  • 著者名/発表者名: Masaru Horita, Daiki Sakauchi, Shohei Mori, Fumihisa Shibata, Asako Kimura, and Hideyuki Tamura
  • 学会等名: Asia Pacific Workshop on Mixed and Augmented Reality
  • 国際学会
• [学会発表] BrightView: Increasing Perceived Brightness in Optical See-through Head-mounted Displays (2017)
  • 著者名/発表者名: Shohei Mori, Sei Ikeda, Christian Sandor, and Alexander Plopski
  • 学会等名: ISMAR-Adjunct
  • 国際学会
• [学会発表] Further Experiments and Considerations on Weight Perception Caused by Visual Diminishing of Real Objects (2017)
  • 著者名/発表者名: Miho Tanaka, Ayushi Misra, Kana Oshima, Satoshi Hashiguchi, Shohei Mori, Fumihisa Shibata, Asako Kimura, and Hideyuki Tamura
  • 学会等名: ISMAR-Adjunct
  • 国際学会
• [学会発表] Background image registration as a post-processing technique in diminished reality rendering procedures (2017)
  • 著者名/発表者名: Shohei Mori, Jianing Qie, Sei Ikeda, Fumihisa Shibata, Asako Kimura, and Hideyuki Tamura
  • 学会等名: ISMAR-Adjunct
  • 国際学会
• [学会発表] Design and Implementation of a Common Dataset for Comparison and Evaluation of Diminished Reality Methods (2017)
  • 著者名/発表者名: Taiki Morozumi, Shohei Mori, Sei Ikeda, Fumihisa Shibata, Asako Kimura, and Hideyuki Tamura
  • 学会等名: ISMAR-Adjunct
  • 国際学会
• [学会発表] 部品回転時の画素値の推移を利用した外観検査手法 (2017)
  • 著者名/発表者名: 鶏内朋也，森尚平，斎藤英雄，菅野純一，足立秀之
  • 学会等名: ViEW
• [学会発表] 複数視点画像を用いた人間の重心位置推定手法の検討 (2017)
  • 著者名/発表者名: 鶏内朋也，森尚平，斎藤英雄，高橋康輔，三上弾，五十川麻理子，木全英明
  • 学会等名: 信学技報
• [学会発表] 一様に分散させた複数視点からの物体認識による隠消現実感 (2017)
  • 著者名/発表者名: 中島由勝，森尚平，斎藤英雄
  • 学会等名: 日本バーチャルリアリティ学会大会論文集
• [学会発表] 的隠背景可視化のためのライトフィールドレンダリングに基づくDR表示 (2017)
  • 著者名/発表者名: 前澤桃子，家永直人，森尚平，斎藤英雄
  • 学会等名: 研究報告コンピュータビジョンとイメージメディア
• [学会発表] 全方位カメラと3D-LIDARを用いた自由視点画像による隠消現実感 (2017)
  • 著者名/発表者名: 大石圭，森尚平，斎藤英雄
  • 学会等名: 研究報告コンピュータビジョンとイメージメディア
• [学会発表] 回転台を用いた多視点撮影による工業製品の外観検査 (2017)
  • 著者名/発表者名: 鶏内朋也，森尚平，斎藤英雄，菅野純一
  • 学会等名: Meeting on Image Recognino and Understanding
• [学会発表] 遠赤外線カメラとRGBカメラの多視点画像群を用いたRGB画像への温度マップ重畳表示 (2017)
  • 著者名/発表者名: 山口真弘，Trong Phuc Truong，森尚平，Vincent Nozick，斎藤英雄，谷内田尚司，佐藤秀昭
  • 学会等名: Meeting on Image Recognino and Understanding
• [学会発表] Augmented Visualization：望みどおりに見るための映像生成に向けて (2017)
  • 著者名/発表者名: 斎藤英雄，森尚平
  • 学会等名: 電子情報通信学会総合大会
  • 発表場所: 名城大学（愛知県・名古屋市）
  • 招待講演
• [学会発表] 非整列多視点カメラを用いた画像ベース隠背景可視化 (2017)
  • 著者名/発表者名: 森尚平，前澤桃子, 家永直人，斎藤英雄
  • 学会等名: 第2回PoTS映像学シンポジウム
  • 発表場所: 慶應義塾大学（神奈川県・横浜市）
• [学会発表] 多視点カメラを用いたライトフィールドレンダリングによる非平面隠背景可視化 (2017)
  • 著者名/発表者名: 前澤桃子，家永直人，森尚平，斎藤英雄
  • 学会等名: 日本バーチャルリアリティ学会複合現実感研究会
  • 発表場所: 京都大学（京都府・京都市）
• [学会発表] 隠消現実感技術を用いた実物体の視覚的消去による触力覚への影響 (2017)
  • 著者名/発表者名: 田中美帆，大嶋佳奈，橋口哲志，森尚平，木村朝子，柴田史久，田村秀行
  • 学会等名: 第171回ヒューマンコンピュータインタラクション研究発表会
  • 発表場所: 大濱信泉記念館（沖縄県・石垣市）
• [学会発表] テレセントリックレンズを用いた多視点画像による工業部品の傷検出 (2017)
  • 著者名/発表者名: 鶏内朋也，森尚平，斎藤英雄，菅野純一，足立秀之
  • 学会等名: 情報処理学会第79回全国大会
  • 発表場所: 名古屋大学（愛知県・名古屋市）
• [学会発表] 3D-LIDARと魚眼カメラを用いた隠消現実感 (2017)
  • 著者名/発表者名: 大石圭，森尚平，斎藤英雄
  • 学会等名: 情報処理学会第79回全国大会
  • 発表場所: 名古屋大学（愛知県・名古屋市）
• [学会発表] 実時間観測の援用により移動物体への拡張を可能にした隠消現実感の実現 (2017)
  • 著者名/発表者名: 堀田勝，坂内大樹，森尚平，池田聖，柴田史久，木村朝子，田村秀行
  • 学会等名: 情報処理学会第79回全国大会
  • 発表場所: 名古屋大学（愛知県・名古屋市）
• [学会発表] 動的非平面隠背景可視化のためのライトフィールドレンダリング (2017)
  • 著者名/発表者名: 前澤桃子, 家永直人, 森尚平, 斎藤英雄
  • 学会等名: 情報処理学会第79回全国大会
  • 発表場所: 名古屋大学（愛知県・名古屋市）
• [学会発表] 隠消現実感における両眼視野不整合についての分析と対策(3) ～Light Field Renderingを用いた隠背景再構成に生じるジッタの分析～ (2017)
  • 著者名/発表者名: 松永知典，森尚平，池田聖，柴田史久，木村朝子，田村秀行
  • 学会等名: 情報処理学会第79回全国大会
  • 発表場所: 名古屋大学（愛知県・名古屋市）
• [学会発表] 隠消現実感手法の客観評価のための共通データセットの開発 (2017)
  • 著者名/発表者名: 両角泰希，森尚平，池田聖，柴田史久，木村朝子，田村秀行
  • 学会等名: 情報処理学会第79回全国大会
  • 発表場所: 名古屋大学（愛知県・名古屋市）
• [学会発表] 隠消現実感とPoTS映像学 (2016)
  • 著者名/発表者名: 森尚平
  • 学会等名: 情報科学技術フォーラム
  • 発表場所: 富山大学（富山県・富山市）
  • 招待講演
• [学会発表] Mixed and Diminished Reality for Filmmaking (2016)
  • 著者名/発表者名: Shohei Mori
  • 学会等名: Collective Visual Sensing Workshop
  • 発表場所: Keio University (Yokohama, Kanagawa)
  • 国際学会 / 招待講演
• [学会発表] Detour light field rendering for diminished reality using unstructured multiple views (2016)
  • 著者名/発表者名: Shohei Mori, Momoko Maezawa, Naoto Ienaga, and Hideo Saito
  • 学会等名: Int. Workshop on Diminished Reality as Challenging Issue in Mixed and Augmented Reality (IWDR)
  • 発表場所: Merida (Mexico)
  • 国際学会
• [学会発表] First deployment of diminished reality for anatomy education (2016)
  • 著者名/発表者名: Naoto Ienaga, Felix Bork, Siim Meerits, Shohei Mori, Pascal Fallavolita, Nassir Navab, and Hideo Saito
  • 学会等名: Int. Workshop on Diminished Reality as Challenging Issue in Mixed and Augmented Reality (IWDR)
  • 発表場所: Merida (Mexico)
  • 国際学会
• [学会発表] 多視点カメラを用いたライトフィールドレンダリングによる隠消現実感表示 (2016)
  • 著者名/発表者名: 森尚平，前澤桃子，家永直人，斎藤英雄
  • 学会等名: 日本バーチャルリアリティ学会複合現実感研究会
  • 発表場所: 支笏湖丸駒温泉（北海道・千歳市）
• [学会発表] 動的隠背景の可視化のためのライトフィールドレンダリング (2016)
  • 著者名/発表者名: 前澤桃子，家永直人，森尚平，斎藤英雄
  • 学会等名: 日本バーチャルリアリティ学会大会
  • 発表場所: つくば国際会議場（茨城県・つくば市）
• [図書] ARの教科書 (2018)
  • 著者名/発表者名: （著）Dieter Schmalstieg，Tobias Hollerer，（編）池田聖，酒田信親，山本豪志朗，（訳）池田聖，一刈良介，大槻麻衣，河合紀彦，酒田信親，武富貴史，藤本雄一郎，森尚平，山本豪志朗
  • 総ページ数: 528
  • 出版者: マイナビ出版
  • ISBN: 9784839965365
• [図書] OpenCVとPythonによる機械学習プログラミング (2018)
  • 著者名/発表者名: （著）Michael Beyeler，（訳）池田聖，浦西友樹，中島悠太，森尚平，山添大丈，山本豪志朗
  • 総ページ数: 352
  • 出版者: マイナビ出版
  • ISBN: 9784839965303
• [備考] 自身の研究成果をまとめたWebサイト
  • URL: https://mugichoko445.bitbucket.io/
• [備考] BrightView Project
  • URL: https://github.com/Mugichoko445/BrightView
• [備考] Shohei Mori's Website
  • URL: http://hvrl.ics.keio.ac.jp/mori/