| 研究課題/領域番号 |
18H03273
|
|---|
| 研究機関 | 奈良先端科学技術大学院大学 |
|---|
研究代表者 |
河合 紀彦 奈良先端科学技術大学院大学, 先端科学技術研究科, 客員准教授 (30610670)
|
|---|
| 研究分担者 |
清川 清 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (60358869)
佐藤 智和 滋賀大学, データサイエンス学部, 教授 (50362835)
酒田 信親 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (40452411)
中島 悠太 大阪大学, データビリティフロンティア機構, 准教授 (70633551)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2022-03-31
|
| キーワード | 隠消現実感 |
|---|
| 研究実績の概要 |
修復と観測の融合に基づく隠消現実感の高度化を実現するために、平成３０年度は以下の項目に取り組んだ。
１．画像修復手法の高度化：画像修復でより高品質な背景画像を生成するために、ニューラルネットワークを用いることで低品質な修復領域を自動的に検出し、その領域を再び欠損領域とみなし画像修復を繰り返すことで、高品質な背景画像を取得する手法を開発した。
２．カラーとデプスを同時に修復する隠消現実感手法の開発：パッチベースにより背景のテクスチャと形状を同時にリアルタイムで修復することで、立体的なシーンに対しても映像中から不要物体を取り除く隠消現実感を実現する手法を開発した。
３．過去映像を用いた物体除去の検討：ユーザがいる場所で過去に撮影された全方位映像をユーザの姿勢に合わせて切り出しユーザに提示することで、ユーザがまるでリアルタイムにその場で起こっていない現象を体験できるバーチャルリアリティ技術の開発を行うとともに、本技術の隠消現実感技術への応用を検討した。
４．バーチャルリアリティ空間における障害物回避：ヘッドマウントディスプレイを装着しバーチャルリアリティ空間を体験するコンテンツにおいて、現実物体をバーチャルリアリティ空間に様々な方法で提示することで、各方法のユーザの物体に対する衝突回避やコンテンツ体験に対する有効性を検証した。本研究の成果が今後の隠消現実感実施時の現実物体の回避方法へ応用できる。
５．GANを用いた画像生成：違和感のない背景画像の生成を念頭に置き、その基礎技術となるニューラルネットワークにより違和感のない画像を生成するGANの手法を開発した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
上記の研究実績の概要の各項目のうち、1の内容を含む論文が論文誌Journal of Visual Communication and Image Representationに採択された。2、3、4、5の内容は当該分野におけるトップカンファレンスであるIEEE International Symposium on Mixed and Augmented Reality(ISMAR)やIEEE Conference on Virtual Reality and 3D User Interfaces(IEEE VR)で発表を行った。以上の通り、研究が着実に進捗し、その成果発表を行っていることから、おおむね順調に進展していると考える。
|
| 今後の研究の推進方策 |
今後は、これまでに行った研究の国際会議や論文誌での成果発表および、研究実施計画に基づいた研究に取り組む予定である。
具体的には、撮影日時が異なる画像群からImage-based renderingおよびニューラルネットワークを用いた画像合成による背景画像の生成手法の開発、隠消現実感における修復手法と観測手法の効果的に統合するインタラクション手法の開発、動物体をリアルタイムで除去する手法の開発を推進する。またそれぞれの手法にとってキーとなる技術であるカメラ位置姿勢推定および環境のマッピングの手法の開発を推進する。
|
