2020 Fiscal Year Annual Research Report
| Project/Area Number |
18H03273
|
|---|
| Research Institution | Osaka Institute of Technology |
|---|
Principal Investigator |
河合 紀彦 大阪工業大学, 情報科学部, 准教授 (30610670)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
酒田 信親 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (40452411)
佐藤 智和 滋賀大学, データサイエンス学部, 教授 (50362835)
清川 清 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (60358869)
中島 悠太 大阪大学, データビリティフロンティア機構, 准教授 (70633551)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 隠消現実感 / 画像修復 |
|---|
| Outline of Annual Research Achievements |
本研究課題の目的を達成するために、令和2年度は以下の項目に取り組んだ。
１．RGBDカメラを用いた奥行およびカラー画像からの固定物体の除去手法の開発：RGBDカメラであるKinectを用いて、カメラの位置・姿勢を推定しながら、奥行き画像およびカラー画像から不要物体を除去する手法の開発に取り組んだ。令和3年度も引き続き取り組んでいるところである。
２．2つのカメラを用いた画像修復手法の開発：異なる位置に2つのカメラを配置し、一方のカメラにある障害物を、もう一方のカメラでその背景画像を取得し補完することで除去する手法の開発を行った。実験で、背景が平面で仮定できるような比較的容易なシーンにおいては違和感のない修復ができることを確認した。これをベースとして観測型手法の開発につなげる。
３．インタラクションに基づく画像修復結果の改善手法の開発：事例ベースの画像修復手法において、類似パターンの位置をインタラクティブに手動で指定することで、修復結果を改善する手法の開発を行った。実験で、ユーザに負担が少ない中でも結果改善につながることを確認し、隠消現実感における効果的なインタラクションの一つとして評価した。
４．デプス画像の欠損値補完手法の開発：スーパーピクセル化・局所平面当てはめに基づくデプス値の補完・異常値の判定手法の開発を行った。今回は1地点から観測したデプス画像を用いたが、複数地点でのデータを統合する手法の開発につなげる。
５．VRコンテンツにおける視線誘導手法の開発：修復型・観測型の隠消現実感の融合においては、画像修復で生成した背景画像から実際に撮影した背景画像に遷移させる必要がある。そのときユーザが違和感を覚えないためには、ユーザの注意をうまくそらし、遷移をできるだけ気づかない形にするのが望ましい。それを念頭に置いて、ユーザの視線誘導手法をVR環境を用いて検証した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
上記の研究実績に記載した通り、複数の項目で研究を遂行し一定の成果を得ることができている一方、その成果について卒業論文等の学位論文での発表にとどまっているケースが多く、論文誌・国際会議等での対外発表が多くない。この点で、進捗としてはやや遅れている。
|
| Strategy for Future Research Activity |
今後は、これまでに行った研究の国際会議や論文誌での成果発表および、研究実施計画に基づいた研究に取り組む予定である。
具体的には、RGBDカメラを用いたカラー画像とデプス画像の同時修復による隠消現実感手法の開発、撮影日時が異なる画像群からImage-based renderingおよびニューラルネットワークを用いた画像合成による背景画像の生成手法の開発、隠消現実感における修復手法と観測手法を効果的に統合する手法の開発を推進する。またそれぞれの手法にとってキーとなる技術であるカメラ位置姿勢推定および環境のマッピングの手法の開発を推進する。また、各手法を統合したプロトタイプシステムを構築し、研究を評価する。
|
