2011 Fiscal Year Research-status Report
写実的拡張現実感のための実環境の高機能計測による光学的整合性の向上
| Project/Area Number |
23700148
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
神原 誠之 奈良先端科学技術大学院大学, 情報科学研究科, 准教授 (10346306)
|
|---|
| Project Period (FY) |
2011-04-28 – 2013-03-31
|
| Keywords | 拡張現実感 / 光学的整合性 / HDR画像 / 多重露光 / マトリクスカメラ |
|---|
| Research Abstract |
平成23年度は研究項目（１）マトリクスカメラを用いた光学的整合性の実現手法の開発に着手した。複数のカメラで構成され同時刻の異なる性質の画像群が撮影可能な、マトリクスカメラを利用した光学的整合性の実現手法を開発した。マトリクスカメラを用いて写実性の高い拡張現実環境を構築するために、まず拡張現実感の背景となる実シーンを高精細に撮影し、より広いダイナミックレンジを持つHDR画像として取り込む。本研究では、ユーザ視点に取り付けたカメラユニット1つで様々な光学的整合性問題を解決するために、カメラの視野内に映るように鏡面球とカメラと位置関係を固定して設置した撮影方式を採用した。これにより、異なるシャッタスピードが設定されたカメラで、実環境を撮影することで、同時刻の異なるダイナミックレンジを持った画像が複数取得できるため、これらを合成することで、HDR画像の実時間生成を行った。HDR画像内には、カメラとの位置関係が固定されて鏡面球が撮影されているため、その領域を利用し、光源の方向・強度・色および、環境マップが獲得することが可能となった。さらに、次年度に取り組む予定の異なる1つのカメラで複数枚の画像からHDR画像生成を行う研究項目の準備段階として、屋外環境において4枚の画像からHDR画像を生成する手法の開発に着手し、予備実験として全方位HDR画像の生成を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成23年度は、マトリクスカメラを用いた光学的整合性の実現手法の開発に着手し、おおむね計画通り複数のカメラで構成され同時刻の異なる性質の画像群が撮影可能な、マトリクスカメラを利用した光学的整合性の実現手法を開発した。さらに、次年度開発予定の1つのカメラを用いたHDR画像生成手法に着手し、予備実験を実施した。
|
| Strategy for Future Research Activity |
平成24年度は、主に研究項目（2）ハイスピードカメラ（異なる時刻の同じ性質の画像群）を用いた光学的整合性の実現に関して研究開発を進める。本研究項目においても、カメラと位置が固定された鏡面球を撮影した映像を入力とする。ハイスピードカメラでは、研究項目（１）のマトリクスカメラとは相反して、時系列に（異なる時間で）短いシャッタスピードで撮影された画像（同じ性質の画像）が高速に獲得できる。そのため、画像群を時系列に足し合わせて合成すればHDR画像を獲得できる。しかし、高速なフレームレート撮影であるため非常に微小時間ではあるが、厳密には異なる時間に撮影された画像であるため視点の移動や動物体がある場合は、幾何的位置合わせの情報を利用して視点の移動量から、位置ずれが発生しないように画像合成を行う。HDR画像が生成できれば、研究項目(1)で開発した技術を活用して光源推定・環境マップの獲得・レンズボケ推定を行う。モーションブラーに関しては、カメラの特性上非常に短いシャッタスピードで画像撮影されていることから、画像にモーションブラーが発生しないため、視点移動を考慮すれば時系列での画像を比較することで移動体が検出でき、発生するモーションブラーが事前に推定可能となる。さらに、上記の研究項目(2)を引き続き研究開発を行うとともに、実環境の高機能計測で得られた情報と表示機器の性能に基づき、写実性の高い画像合成を可能にする拡張現実感のプロトタイプシステムを構築する。上記の2つのアプローチにより、実環境の高機能計測で得られた情報（光源環境、環境マップ、レンズボケ、モーションブラー）と表示機器（ヘッドマウントディスプレイなど）の性能に基づき、表示機器に適した画像合成を行う拡張現実環境を構築する。
|
| Expenditure Plans for the Next FY Research Funding |
未使用額が生じた要因は、研究の進捗状況に合わせ、算執行計画を変更したことに伴うものである。また、次年度の請求額と合わせての執行計画は以下のとおりである。本申請研究では、高い拡張現実環境の構築を図るため、研究計画に従い設備として平成24年には光源環境をするためにハイスピードカメラを購入する予定である。また、旅費・その他に関しては、本申請研究で得られた研究成果の発表および研究広報・調査を行うための旅費・参加費・論文投稿料などとして使用する予定である。国際会議に関してはIEEE Virtual Reality等の関連分野における主要国際会議での発表を想定している。謝金に関しては、本学学生をシステム開発補助などで雇用する費用であり、博士課程の学生1名を2，3ヶ月間雇用する予定である。本費用の算出根拠は、学内規定による時間単価と従事時間に基づいて計算されている。
|
