• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Advancement of diminished reality based on fusion of inpainting and observation

Research Project

Project/Area Number 18H03273
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 61020:Human interface and interaction-related
Research InstitutionOsaka Institute of Technology (2020-2021)
Nara Institute of Science and Technology (2018-2019)

Principal Investigator

Kawai Norihiko  大阪工業大学, 情報科学部, 准教授 (30610670)

Co-Investigator(Kenkyū-buntansha) 酒田 信親  龍谷大学, 先端理工学部, 准教授 (40452411)
佐藤 智和  滋賀大学, データサイエンス学部, 教授 (50362835)
清川 清  奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (60358869)
中島 悠太  大阪大学, データビリティフロンティア機構, 准教授 (70633551)
Project Period (FY) 2018-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2021: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2020: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2019: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2018: ¥7,410,000 (Direct Cost: ¥5,700,000、Indirect Cost: ¥1,710,000)
Keywords隠消現実感 / 画像修復 / 画像合成 / 不要物消去 / 拡張現実感 / バーチャルリアリティ / Image-based rendering / インタラクション / Diminished reality
Outline of Final Research Achievements

In this research project, in order to realize diminished reality that visually removes unwanted objects from real-time camera images in various environments, we developed methods of image inpainting that estimates the invisible background and methods of observation that actually photographs and combines the background, respectively. We also developed a method of diminished reality that combines image inpainting and observation. In addition, we developed systems that applies diminished reality.
In order to demonstrate the effectiveness of each developed method, we verified them using images that can be acquired by various cameras such as omnidirectional cameras that capture omnidirectional images and RGB-D cameras that acquire color and depth images as well as ordinary cameras.

Academic Significance and Societal Importance of the Research Achievements

現実世界に新たなCGなどを追加し情報をよりわかりやすく提示できる拡張現実感や人間の能力をコンピュータによって拡張する人間拡張において、物体を映像から消去したり減衰させたりする隠消現実感は必要不可欠な要素技術であり、現実の様々なシーンで不要物を視覚的に違和感なく消去することが望まれる。本研究ではこの課題に対して、様々な手法の開発により、従来手法では難しかった様々なシーンにおいて、違和感のない物体の消去を実現し、今後の拡張現実・人間拡張の進歩に大きく貢献する成果を挙げた。

Report

(5 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Annual Research Report
  • 2019 Annual Research Report
  • 2018 Annual Research Report
  • Research Products

    (35 results)

All 2022 2021 2020 2019 2018

All Journal Article (5 results) (of which Peer Reviewed: 5 results) Presentation (30 results) (of which Int'l Joint Research: 8 results)

  • [Journal Article] Third-person perspective avatar embodiment in augmented reality: Examining the proteus effect on physical performance2022

    • Author(s)
      Riku Otono, Naoya Isoyama, Hideaki Uchiyama, Kiyoshi Kiyokawa
    • Journal Title

      Proceedings of 2022 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW)

      Volume: - Pages: 730-731

    • DOI

      10.1109/vrw55335.2022.00216

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Facial mask region completion using StyleGAN2 with a substitute face of the same person2022

    • Author(s)
      Hiroaki Koike, Norihiko Kawai
    • Journal Title

      Proceedings of International Workshop on Frontiers of Computer Vision (IW-FCV)

      Volume: -

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Generation of omnidirectional image without photographer2022

    • Author(s)
      Ryusei Noda, Norihiko Kawai
    • Journal Title

      Proceedings of International Workshop on Frontiers of Computer Vision (IW-FCV)

      Volume: -

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Subtle Gaze Guidance for 360° Content by Gradual Brightness Modulation and Termination of Modulation by Gaze Approaching2021

    • Author(s)
      Yokomi Masatoshi, Isoyama Naoya, Sakata Nobuchika, Kiyokawa Kiyoshi
    • Journal Title

      2021 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW)

      Volume: - Pages: 520-521

    • DOI

      10.1109/vrw52623.2021.00142

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Iterative applications of image completion with CNN-based failure detection2018

    • Author(s)
      Tanaka Takahiro、Kawai Norihiko、Nakashima Yuta、Sato Tomokazu、Yokoya Naokazu
    • Journal Title

      Journal of Visual Communication and Image Representation

      Volume: 55 Pages: 56-66

    • DOI

      10.1016/j.jvcir.2018.05.015

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Presentation] デプスカメラを用いた平面上の物体を対象とした隠消現実感2022

    • Author(s)
      木内一隆,河合紀彦
    • Organizer
      電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎研究会 (MVE)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 観測型と修復型の利点を併せ持つ隠消現実感手法の提案と評価2022

    • Author(s)
      加藤太希, 磯山直也, 河合紀彦, 内山英昭, 酒田信親, 清川清
    • Organizer
      電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎研究会 (MVE)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 代替現実を応用した地震シミュレータ2022

    • Author(s)
      石原翼, 中西隆太, 河合紀彦
    • Organizer
      電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎研究会 (MVE)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 撮影者を含まない全方位画像の生成2022

    • Author(s)
      野田隆成, 河合紀彦
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 同一人物の正面の顔を用いたStyleGAN2による顔のマスク領域の補完2022

    • Author(s)
      小池泰景, 河合紀彦
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] セマンティックセグメンテーションとARに基づく床の模様替え2022

    • Author(s)
      田村啓人, 河合紀彦
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] ヒストグラムマッチングによるBackground Mattingの精度向上2022

    • Author(s)
      入江友基, 河合紀彦
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 全方位カメラのための物体検出の一手法2022

    • Author(s)
      金川和源, 河合紀彦
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Indirect ARのためのカメラ画像を用いた輝度補正の検討2022

    • Author(s)
      池林ハキーム, 河合紀彦
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] The proteus effect in augmented reality: Impact of avatar age and user perspective on walking behaviors2021

    • Author(s)
      Riku Otono, Yusuke Shikanai, Kizashi Nakano, Naoya Isoyama, Hideaki Uchiyama, Kiyoshi Kiyokawa
    • Organizer
      第26回日本バーチャルリアリティ学会大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] VR環境での対人コミュニケーションにおける視線操作による会話満足度向上手法の検討2021

    • Author(s)
      東 健太
    • Organizer
      メディアエクスペリエンス・バーチャル環境基礎研究会 (MVE)
    • Related Report
      2020 Annual Research Report
  • [Presentation] VRコンテンツにおける明度変調を用いた意識下に残りにくい視線誘導手法の提案2021

    • Author(s)
      横見 栄聡
    • Organizer
      メディアエクスペリエンス・バーチャル環境基礎研究会 (MVE)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 印象操作した自己鏡映像のフィードバックが被面接者に及ぼす影響2020

    • Author(s)
      大久保 至道
    • Organizer
      日本バーチャルリアリティ学会 複合現実感研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 周辺環境の視覚的ノイズ減衰機能を有するノイズキャンセリングHMDの基礎的検討2020

    • Author(s)
      古志 将樹
    • Organizer
      情報処理学会シンポジウム インタラクション2020
    • Related Report
      2019 Annual Research Report
  • [Presentation] バーチャル空間における解像度制御を用いた視線誘導手法の提案2019

    • Author(s)
      横見 栄聡
    • Organizer
      第24回日本バーチャルリアリティ学会大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 動的環境に対応するリアルタイムDRのための画像修復アルゴリズムの高速化2019

    • Author(s)
      杉本 宗一郎
    • Organizer
      日本バーチャルリアリティ学会 複合現実感研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 解像度制御を用いた3次元空間での視線誘導手法2019

    • Author(s)
      横見 栄聡
    • Organizer
      情報処理学会第54回エンタテインメントコンピューティング研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 顔表情の認識と拡張による会話満足度の向上手法の検討2019

    • Author(s)
      東 健太
    • Organizer
      ユビキタス・ウェアラブル・ワークショップ2019
    • Related Report
      2019 Annual Research Report
  • [Presentation] Speech-driven facial animation by LSTM-RNN for communication use2019

    • Author(s)
      R. Nishimura
    • Organizer
      Asia Pacific Workshop on Mixed and Augmented Reality (APMAR2019)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Walking Assist Method for VR Zombie2019

    • Author(s)
      K. Kanamori
    • Organizer
      Asia Pacific Workshop on Mixed and Augmented Reality (APMAR2019)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Enchanting your noodles: GAN-based real-time food-to-food translation and Its impact on vision-induced gustatory manipulation2019

    • Author(s)
      K. Nakano
    • Organizer
      IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2019)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Augmented concentration: Concentration improvement by visual noise reduction with a video see-through HMD2019

    • Author(s)
      M. Koshi
    • Organizer
      IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2019)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 音素・口形素の特徴表現と敵対的生成ネットワークによる発話顔生成2019

    • Author(s)
      安井崇朗
    • Organizer
      電子情報通信学会パターン認識・メディア理解研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 3D PixMix: Image inpainting in 3D environments2018

    • Author(s)
      S. Mori
    • Organizer
      IEEE International Symposium on Mixed and Augmented Reality (ISMAR2018)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Obstacle avoidance method in real space for virtual reality immersion2018

    • Author(s)
      K. Kanamori
    • Organizer
      IEEE International Symposium for Mixed and Augmented Reality (ISMAR2018)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Walking support in real space using social force model when wearing immersive hmd2018

    • Author(s)
      K. Kanamori
    • Organizer
      IEEE International Symposium for Mixed and Augmented Reality (ISMAR2018)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Toward more believable vr by smooth transition between real and virtual environments via omnidirectional video2018

    • Author(s)
      S. Okeda
    • Organizer
      IEEE International Symposium for Mixed and Augmented Reality (ISMAR2018)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 深層学習を用いた入力音声に適した顔表情生成2018

    • Author(s)
      西村亮佑
    • Organizer
      第23回日本バーチャルリアリティ学会大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 麺類を対象とした視覚変調による味覚操作インタフェースの有効性評価2018

    • Author(s)
      中野萌士
    • Organizer
      第23回日本バーチャルリアリティ学会大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Social Force Modelを適用した没入型HMD装着時の実空間歩行支援2018

    • Author(s)
      金森浩平
    • Organizer
      第23回日本バーチャルリアリティ学会大会
    • Related Report
      2018 Annual Research Report

URL: 

Published: 2018-04-23   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi