2011 Fiscal Year Research-status Report
ナビゲーションシステムのための複数全方位画像列を用いた仮想視点画像生成
| Project/Area Number |
23700191
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
阪野 貴彦 東京大学, 生産技術研究所, 特任助教 (70356187)
|
|---|
| Project Period (FY) |
2011-04-28 – 2013-03-31
|
| Keywords | 全方位画像 / 3次元復元 / 前景抽出 / 画像マッチング |
|---|
| Research Abstract |
当該年度では、(１)単一動画像列のための処理、および(２)複数動画像列のシームレスな接続のための処理の一部を行った。 単一動画像のための処理としては、1-a)全方位動画像揺れ補正と1-b)写りこんだ人物等の除去を行った。揺れ補正に関しては、動画像列からカメラパスと周囲の3次元環境を復元する手法を全方位画像に拡張した。本手法により、あらゆる方向の3次元情報を同時に復元することができ、なおかつ画角が広いことにより従来のカメラより高精度でのパス推定が可能となった。なお、この手法は、画像のみから3次元環境が復元できるため、多目的に使用できるとして企業からソフト使用承諾の依頼が来ている。さらに、揺れ補正の度合いを客観的に評価する指標を提案し、従来手法より有効であることを数値で示した。写りこんだ人物の除去に関しては、人物の色と輪郭をモデル化し、オプティカルフロー(OF)と動的計画法を組み合わせることで、時間方向に人物領域の追跡・抽出が可能となった。除去した人物領域には、他の動画像領域を用いるインペインティングと呼ばれる手法を使用することで、違和感のない穴埋めを行うことができた。また、OFそのものも、時間前後の3フレームを用いることで、従来の2フレームによるOFよりも頑強な手法を開発した。 複数動画像のための処理としては、動画像接続のための画像位置合わせを行った。2つの照明条件の異なる画像間でのマッチングをとるため、照明変化に頑強な特徴点抽出法を採用、さらには全方位画像から照明方向を特定し、3次元モデルから陰影画像を再現することで、天候変化に頑強なマッチング手法を開発した。特徴点マッチングの際には、誤った対応ペアを弾くため、ノイズに頑強で高速な基礎行列推定手法の開発を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
申請時において、極力無理の無いよう計画を立てたため、おおむね順調に進んでいると考える。特に、全方位動画像を用いた3次元復元とカメラパス推定に関しては、ソフトウェアのパッケージ化まで進めることができた。ただし、論文準備など成果の発信面において、多少遅れていると感じるところもあり、次年度では成果発表について力を入れたい。
|
| Strategy for Future Research Activity |
次年度では、本年度に行った主に要素技術開発の研究内容を踏まえ、複数画像を接続するための手法を実装する。単一動画像処理として出力した2つ以上の3次元モデルを位置合わせすることで、これら複数の動画像をつなぎ合わせ、仮想支視点画像の生成を行う。また、本年度開発した要素研究の積極的な論文発表を行う。 研究代表者が所属機関変更になるため、研究遂行に当たっては大学院生の協力者と離れることになるが、定期的に変更前の所属機関の研究室を訪れるなどして、研究連携を保つ。
|
| Expenditure Plans for the Next FY Research Funding |
研究成果を国際論文誌に積極的に投稿するための、校正・投稿費用に使用するほか、国際学会参加費に使用する。また、研究代表者の所属機関変更に伴い、研究に必要な実験機材の補充等にも使用する予定である。
|
Research Products
(2 results)
