ビデオシースルー拡張現実感における画像中からの現実物体の除去に関する研究

• 研究課題/領域番号: 24700118
• 研究種目: 若手研究(B)
• 配分区分: 基金
• 研究分野: メディア情報学・データベース
• 研究機関: 奈良先端科学技術大学院大学
• 研究代表者: 河合 紀彦 奈良先端科学技術大学院大学, 情報科学研究科, 助教 (30610670)
• 研究期間 (年度): 2012-04-01 – 2015-03-31
• 研究課題ステータス: 完了 (2014年度)
• 配分額: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円); 2014年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円); 2013年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円); 2012年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
• キーワード: 隠消現実感 / 画像修復 / 拡張現実感 / 物体除去 / 背景推定 / 形状修復

研究成果の概要

本研究では、画像中の現物物体を除去し、その欠損領域に違和感のないテクスチャを実時間で合成する隠消現実感の手法を、除去対象が拡張現実感マーカの場合と一般物体の場合に分けて開発した。対象が拡張現実感マーカの場合、マーカが平面上に存在するという仮定のもと、画像修復によりマーカの背景画像を生成し、それを毎フレーム幾何学的・光学的に補正しマーカ領域に重畳することで、マーカの実時間除去を実現した。対象が一般物体の場合は、SLAM手法に基づくカメラの位置姿勢および除去対象物体の背景形状の推定および対象がマーカの場合と同様のアプローチの統合により三次元的なシーンに対応した一般物体の実時間除去を実現した。

研究成果

• [雑誌論文] インペインティングとその隠消現実感への応用 (2014)
  • 著者名/発表者名: 河合紀彦
  • 雑誌名: システム制御情報学会誌 巻: 58 ページ: 426-431
• [雑誌論文] From image inpainting to diminished reality (2014)
  • 著者名/発表者名: Norihiko Kawai, Tomokazu Sato, and Naokazu Yokoya
  • 雑誌名: Proc. Human-Computer Interaction International 巻: 16 ページ: 363-374
  • DOI: 10.1007/978-3-319-07458-0_34
  • NAID: 120006659635
  • ISBN: 9783319074573, 9783319074580
  • 査読あり / 謝辞記載あり
• [雑誌論文] [Paper] Diminished Reality for AR Marker Hiding Based on Image Inpainting with Reflection of Luminance Changes (2013)
  • 著者名/発表者名: Norihiko Kawai, Masayoshi Yamasaki, Tomokazu Sato, and Naokazu Yokoya
  • 雑誌名: ITE Transactions on Media Technology and Applications 巻: 1 号: 4 ページ: 343-353
  • DOI: 10.3169/mta.1.343
  • NAID: 130004648180
  • ISSN: 2186-7364
  • 査読あり
• [学会発表] ARマーカ除去のための実時間背景画像変形 (2015)
  • 著者名/発表者名: 河合紀彦
  • 学会等名: 複合現実感研究会
  • 発表場所: 奈良先端科学技術大学院大学 (奈良県生駒市)
  • 年月日: 2015-01-22 – 2015-01-23
• [学会発表] Diminished reality based on image inpainting for visually removing real objects in real time (2014)
  • 著者名/発表者名: Norihiko Kawai
  • 学会等名: Int. Display Workshops (IDW)
  • 発表場所: 朱鷺メッセ (新潟県新潟市)
  • 年月日: 2014-12-03 – 2014-12-05
  • 招待講演
• [学会発表] 点群へのプリミティブ当てはめを用いた三次元形状とテクスチャの欠損修復 (2014)
  • 著者名/発表者名: 河合紀彦
  • 学会等名: 電気関係学会関西連合大会
  • 発表場所: 奈良先端科学技術大学院大学 (奈良県生駒市)
  • 年月日: 2014-11-23 – 2014-11-24
• [学会発表] 透視投影歪みを自動補正した画像修復 (2014)
  • 著者名/発表者名: 笹尾海斗
  • 学会等名: 電気関係学会関西連合大会
  • 発表場所: 奈良先端科学技術大学院大学 (奈良県生駒市)
  • 年月日: 2014-11-23 – 2014-11-24
• [学会発表] 画像修復を用いた隠消現実感 (2014)
  • 著者名/発表者名: 河合紀彦
  • 学会等名: 画像の認識・理解シンポジウム(MIRU)
  • 発表場所: 岡山コンベンションセンター (岡山県岡山市)
  • 年月日: 2014-07-28 – 2014-07-31
• [学会発表] Diminished reality using image inpainting (2014)
  • 著者名/発表者名: Norihiko Kawai
  • 学会等名: Int. Conf. on Informatics, Electronics & Vision (ICIEV)
  • 発表場所: Dhaka (Bangladesh)
  • 年月日: 2014-06-15 – 2014-06-17
  • 招待講演
• [学会発表] Diminished reality by correction of perspective and color with image inpainting (2014)
  • 著者名/発表者名: Norihiko Kawai
  • 学会等名: SIAM Conf. on Imaging Science
  • 発表場所: Hong Kong (China)
  • 年月日: 2014-05-12 – 2014-05-14
  • 招待講演
• [学会発表] 点群へのプリミティブ当てはめに基づく形状とテクスチャの欠損修復 (2014)
  • 著者名/発表者名: 中尾 聡志
  • 学会等名: 電子情報通信学会 パターン認識・メディア理解研究会
  • 発表場所: 福岡大学(福岡市)
• [学会発表] 透視投影歪みの自動補正に基づく画像修復 (2014)
  • 著者名/発表者名: 笹尾 海斗
  • 学会等名: 2014年電子情報通信学会総合大会
  • 発表場所: 新潟大学(新潟市)
• [学会発表] Diminished reality considering background structures (2013)
  • 著者名/発表者名: Norihiko Kawai
  • 学会等名: IEEE International Symposium on Mixed and Augmented Reality
  • 発表場所: Adelaide, Australia
• [学会発表] 点群への平面当てはめに基づく形状とテクスチャの欠損修復 (2013)
  • 著者名/発表者名: 中尾 聡志
  • 学会等名: 電気関係学会関西支部連合大会
  • 発表場所: 大阪電気通信大学(寝屋川市)
• [学会発表] AR marker hiding based on image inpainting and reflection of illumination changes (2012)
  • 著者名/発表者名: Norihiko Kawai
  • 学会等名: 11th IEEE and ACM Int. Sympo. on Mixed and Augmented Reality
  • 発表場所: Atlanta, Georgia, USA
• [学会発表] ARマーカの除去のための画像修復に基づく陰影を考慮した隠消現実感
  • 著者名/発表者名: 河合紀彦
  • 学会等名: 画像の認識・理解シンポジウム
  • 発表場所: 福岡県福岡市
• [備考] 研究成果
  • URL: http://yokoya.naist.jp/~norihi-k/research.html
• [備考] Research
  • URL: http://yokoya.naist.jp/~norihi-k/research.html