2013 Fiscal Year Research-status Report
インタラクティブ高臨場感テレプレゼンスのための全方位シネマグラフ生成
| Project/Area Number |
25540086
|
|---|
| Research Category |
Grant-in-Aid for Challenging Exploratory Research
|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
横矢 直和 奈良先端科学技術大学院大学, 情報科学研究科, 教授 (10252834)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河合 紀彦 奈良先端科学技術大学院大学, 情報科学研究科, 助教 (30610670)
佐藤 智和 奈良先端科学技術大学院大学, 情報科学研究科, 准教授 (50362835)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | シネマグラフ / 背景画像生成 / 画像修復 / 全方位映像 / テレプレゼンス / バーチャルリアリティ |
|---|
| Research Abstract |
1.自由視点画像生成手法の開発
動きながら撮影した全方位映像から、ある対象フレームで動物体が無限に動き続けるシネマグラフを生成するためには、他の地点で撮影された全方位画像群から、その対象フレーム地点から撮影し続けたような全方位画像群を生成する必要がある。このため、Structure-from-Motion法とMulti-view Stereo法により推定される各フレームのカメラの位置姿勢と環境の三次元形状を用いて自由視点画像を生成する手法を開発した。
2.背景画像生成手法の開発
本研究では、全方位シネマグラフを生成する対象フレームに映っている動物体を画像内で動かすため、その背景の風景を新たに合成する必要がある。このため、上記の開発した自由視点画像生成手法により、対象フレーム視点での画像群を生成し、エネルギー関数最小化の枠組みを用いて、それらの画像群から画素ごとに背景であると考えられるフレームを選択することで、背景画像を生成する手法を開発した。実際の屋外環境で動きながら撮影した全方位映像を用いて実験し、提案手法の有効性を検証した。
3.画像修復手法の開発
映像中に、立ち止まった人等の一時的に静止した物体がある時には、その背景をどのフレームからも取得できず、上記の背景画像生成手法を適用しても背景画像を生成できない。このため、このような場合に擬似的な背景画像を生成できる、静止画像に対する画像修復手法を開発した。具体的には、画像中の射影歪みに着目し、ランク最小化の枠組みにより画像中の射影歪みを自動的に取り除いた上で、事例ベースの画像修復を適用することで、そのままの入力画像に対して画像修復するよりも高品質に背景画像が生成できる手法を開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初平成25年度に計画していた、研究項目(a)全方位映像中の静止物体と動物体の分別手法の開発、研究項目(b)移動物体の動き推定手法の開発、のうち研究項目(b)を行うことはできなかったが、その代りに平成26年度に計画していた研究項目(c)背景画像生成手法の開発を先行して行い、項目(a)と共に技術面での進捗があった。また、屋外で撮影された全方位映像を用いて実験を行い、提案手法が有効に働くことを確認できた。
|
| Strategy for Future Research Activity |
平成25年度に予定していた研究項目(b)および、平成26年度に計画していた研究項目(d)動物体のテクスチャ生成・合成手法の開発を同時に進行する予定である。
|
| Expenditure Plans for the Next FY Research Funding |
平成25年度に、実験データの取得補助のための人件費・謝金を予定していたが、別の用途で取得したデータを本研究の予備実験に流用したため、当該年度で計上せず、未使用額が生じた。
平成26年度は、新たにデータを取得するために人件費・謝金を計上予定である。また平成25年度で得られた成果を国際会議・論文誌に投稿するための、英文論文校閲費、旅費、会議参加費および、論文の掲載料・別刷り料を計上予定である。
|
