• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

修復と観測の融合に基づく隠消現実感の高度化

研究課題

研究課題/領域番号 18H03273
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分61020:ヒューマンインタフェースおよびインタラクション関連
研究機関大阪工業大学 (2020-2021)
奈良先端科学技術大学院大学 (2018-2019)

研究代表者

河合 紀彦  大阪工業大学, 情報科学部, 准教授 (30610670)

研究分担者 酒田 信親  龍谷大学, 先端理工学部, 准教授 (40452411)
佐藤 智和  滋賀大学, データサイエンス学部, 教授 (50362835)
清川 清  奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (60358869)
中島 悠太  大阪大学, データビリティフロンティア機構, 准教授 (70633551)
研究期間 (年度) 2018-04-01 – 2022-03-31
研究課題ステータス 完了 (2021年度)
配分額 *注記
17,420千円 (直接経費: 13,400千円、間接経費: 4,020千円)
2021年度: 3,250千円 (直接経費: 2,500千円、間接経費: 750千円)
2020年度: 3,250千円 (直接経費: 2,500千円、間接経費: 750千円)
2019年度: 3,510千円 (直接経費: 2,700千円、間接経費: 810千円)
2018年度: 7,410千円 (直接経費: 5,700千円、間接経費: 1,710千円)
キーワード隠消現実感 / 画像修復 / 画像合成 / 不要物消去 / 拡張現実感 / バーチャルリアリティ / Image-based rendering / インタラクション / Diminished reality
研究成果の概要

本研究課題では、リアルタイムのカメラ映像から不要物を消去する隠消現実感を様々な環境でも実現するため、見えない背景を推定する画像修復による手法および実際に背景を撮影して合成する観測による手法をそれぞれ発展させるとともに、画像修復と観測を融合した隠消現実感の手法の開発を行った。また、隠消現実感を応用したシステムの開発を行った。
開発した各手法の有効性を示すために、一般的なカメラで取得できる画像の他に、全方位カメラやRGB-Dカメラで取得できる多様なカラー画像・デプス画像や映像を用いて検証を行った。

研究成果の学術的意義や社会的意義

現実世界に新たなCGなどを追加し情報をよりわかりやすく提示できる拡張現実感や人間の能力をコンピュータによって拡張する人間拡張において、物体を映像から消去したり減衰させたりする隠消現実感は必要不可欠な要素技術であり、現実の様々なシーンで不要物を視覚的に違和感なく消去することが望まれる。本研究ではこの課題に対して、様々な手法の開発により、従来手法では難しかった様々なシーンにおいて、違和感のない物体の消去を実現し、今後の拡張現実・人間拡張の進歩に大きく貢献する成果を挙げた。

報告書

(5件)
  • 2021 実績報告書   研究成果報告書 ( PDF )
  • 2020 実績報告書
  • 2019 実績報告書
  • 2018 実績報告書
  • 研究成果

    (35件)

すべて 2022 2021 2020 2019 2018

すべて 雑誌論文 (5件) (うち査読あり 5件) 学会発表 (30件) (うち国際学会 8件)

  • [雑誌論文] Third-person perspective avatar embodiment in augmented reality: Examining the proteus effect on physical performance2022

    • 著者名/発表者名
      Riku Otono, Naoya Isoyama, Hideaki Uchiyama, Kiyoshi Kiyokawa
    • 雑誌名

      Proceedings of 2022 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW)

      巻: - ページ: 730-731

    • DOI

      10.1109/vrw55335.2022.00216

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Facial mask region completion using StyleGAN2 with a substitute face of the same person2022

    • 著者名/発表者名
      Hiroaki Koike, Norihiko Kawai
    • 雑誌名

      Proceedings of International Workshop on Frontiers of Computer Vision (IW-FCV)

      巻: -

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Generation of omnidirectional image without photographer2022

    • 著者名/発表者名
      Ryusei Noda, Norihiko Kawai
    • 雑誌名

      Proceedings of International Workshop on Frontiers of Computer Vision (IW-FCV)

      巻: -

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Subtle Gaze Guidance for 360° Content by Gradual Brightness Modulation and Termination of Modulation by Gaze Approaching2021

    • 著者名/発表者名
      Yokomi Masatoshi, Isoyama Naoya, Sakata Nobuchika, Kiyokawa Kiyoshi
    • 雑誌名

      2021 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW)

      巻: - ページ: 520-521

    • DOI

      10.1109/vrw52623.2021.00142

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] Iterative applications of image completion with CNN-based failure detection2018

    • 著者名/発表者名
      Tanaka Takahiro、Kawai Norihiko、Nakashima Yuta、Sato Tomokazu、Yokoya Naokazu
    • 雑誌名

      Journal of Visual Communication and Image Representation

      巻: 55 ページ: 56-66

    • DOI

      10.1016/j.jvcir.2018.05.015

    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [学会発表] デプスカメラを用いた平面上の物体を対象とした隠消現実感2022

    • 著者名/発表者名
      木内一隆,河合紀彦
    • 学会等名
      電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎研究会 (MVE)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 観測型と修復型の利点を併せ持つ隠消現実感手法の提案と評価2022

    • 著者名/発表者名
      加藤太希, 磯山直也, 河合紀彦, 内山英昭, 酒田信親, 清川清
    • 学会等名
      電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎研究会 (MVE)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 代替現実を応用した地震シミュレータ2022

    • 著者名/発表者名
      石原翼, 中西隆太, 河合紀彦
    • 学会等名
      電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎研究会 (MVE)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 撮影者を含まない全方位画像の生成2022

    • 著者名/発表者名
      野田隆成, 河合紀彦
    • 学会等名
      情報処理学会第84回全国大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 同一人物の正面の顔を用いたStyleGAN2による顔のマスク領域の補完2022

    • 著者名/発表者名
      小池泰景, 河合紀彦
    • 学会等名
      情報処理学会第84回全国大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] セマンティックセグメンテーションとARに基づく床の模様替え2022

    • 著者名/発表者名
      田村啓人, 河合紀彦
    • 学会等名
      情報処理学会第84回全国大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] ヒストグラムマッチングによるBackground Mattingの精度向上2022

    • 著者名/発表者名
      入江友基, 河合紀彦
    • 学会等名
      情報処理学会第84回全国大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 全方位カメラのための物体検出の一手法2022

    • 著者名/発表者名
      金川和源, 河合紀彦
    • 学会等名
      情報処理学会第84回全国大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Indirect ARのためのカメラ画像を用いた輝度補正の検討2022

    • 著者名/発表者名
      池林ハキーム, 河合紀彦
    • 学会等名
      情報処理学会第84回全国大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] The proteus effect in augmented reality: Impact of avatar age and user perspective on walking behaviors2021

    • 著者名/発表者名
      Riku Otono, Yusuke Shikanai, Kizashi Nakano, Naoya Isoyama, Hideaki Uchiyama, Kiyoshi Kiyokawa
    • 学会等名
      第26回日本バーチャルリアリティ学会大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] VR環境での対人コミュニケーションにおける視線操作による会話満足度向上手法の検討2021

    • 著者名/発表者名
      東 健太
    • 学会等名
      メディアエクスペリエンス・バーチャル環境基礎研究会 (MVE)
    • 関連する報告書
      2020 実績報告書
  • [学会発表] VRコンテンツにおける明度変調を用いた意識下に残りにくい視線誘導手法の提案2021

    • 著者名/発表者名
      横見 栄聡
    • 学会等名
      メディアエクスペリエンス・バーチャル環境基礎研究会 (MVE)
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 印象操作した自己鏡映像のフィードバックが被面接者に及ぼす影響2020

    • 著者名/発表者名
      大久保 至道
    • 学会等名
      日本バーチャルリアリティ学会 複合現実感研究会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 周辺環境の視覚的ノイズ減衰機能を有するノイズキャンセリングHMDの基礎的検討2020

    • 著者名/発表者名
      古志 将樹
    • 学会等名
      情報処理学会シンポジウム インタラクション2020
    • 関連する報告書
      2019 実績報告書
  • [学会発表] バーチャル空間における解像度制御を用いた視線誘導手法の提案2019

    • 著者名/発表者名
      横見 栄聡
    • 学会等名
      第24回日本バーチャルリアリティ学会大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 動的環境に対応するリアルタイムDRのための画像修復アルゴリズムの高速化2019

    • 著者名/発表者名
      杉本 宗一郎
    • 学会等名
      日本バーチャルリアリティ学会 複合現実感研究会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 解像度制御を用いた3次元空間での視線誘導手法2019

    • 著者名/発表者名
      横見 栄聡
    • 学会等名
      情報処理学会第54回エンタテインメントコンピューティング研究会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 顔表情の認識と拡張による会話満足度の向上手法の検討2019

    • 著者名/発表者名
      東 健太
    • 学会等名
      ユビキタス・ウェアラブル・ワークショップ2019
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Speech-driven facial animation by LSTM-RNN for communication use2019

    • 著者名/発表者名
      R. Nishimura
    • 学会等名
      Asia Pacific Workshop on Mixed and Augmented Reality (APMAR2019)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Walking Assist Method for VR Zombie2019

    • 著者名/発表者名
      K. Kanamori
    • 学会等名
      Asia Pacific Workshop on Mixed and Augmented Reality (APMAR2019)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Enchanting your noodles: GAN-based real-time food-to-food translation and Its impact on vision-induced gustatory manipulation2019

    • 著者名/発表者名
      K. Nakano
    • 学会等名
      IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2019)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Augmented concentration: Concentration improvement by visual noise reduction with a video see-through HMD2019

    • 著者名/発表者名
      M. Koshi
    • 学会等名
      IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2019)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] 音素・口形素の特徴表現と敵対的生成ネットワークによる発話顔生成2019

    • 著者名/発表者名
      安井崇朗
    • 学会等名
      電子情報通信学会パターン認識・メディア理解研究会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 3D PixMix: Image inpainting in 3D environments2018

    • 著者名/発表者名
      S. Mori
    • 学会等名
      IEEE International Symposium on Mixed and Augmented Reality (ISMAR2018)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Obstacle avoidance method in real space for virtual reality immersion2018

    • 著者名/発表者名
      K. Kanamori
    • 学会等名
      IEEE International Symposium for Mixed and Augmented Reality (ISMAR2018)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Walking support in real space using social force model when wearing immersive hmd2018

    • 著者名/発表者名
      K. Kanamori
    • 学会等名
      IEEE International Symposium for Mixed and Augmented Reality (ISMAR2018)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Toward more believable vr by smooth transition between real and virtual environments via omnidirectional video2018

    • 著者名/発表者名
      S. Okeda
    • 学会等名
      IEEE International Symposium for Mixed and Augmented Reality (ISMAR2018)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] 深層学習を用いた入力音声に適した顔表情生成2018

    • 著者名/発表者名
      西村亮佑
    • 学会等名
      第23回日本バーチャルリアリティ学会大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 麺類を対象とした視覚変調による味覚操作インタフェースの有効性評価2018

    • 著者名/発表者名
      中野萌士
    • 学会等名
      第23回日本バーチャルリアリティ学会大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Social Force Modelを適用した没入型HMD装着時の実空間歩行支援2018

    • 著者名/発表者名
      金森浩平
    • 学会等名
      第23回日本バーチャルリアリティ学会大会
    • 関連する報告書
      2018 実績報告書

URL: 

公開日: 2018-04-23   更新日: 2023-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi