2017 Fiscal Year Annual Research Report
A Study on the Free-viewpoint Panoramic Video
| Project/Area Number |
17H07324
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
池畑 諭 国立情報学研究所, 大学共同利用機関等の部局等, 助教 (70804061)
|
|---|
| Project Period (FY) |
2017-08-25 – 2019-03-31
|
| Keywords | パノラマ画像 / ３次元復元 / ＶＲ |
|---|
| Outline of Annual Research Achievements |
平成２９年度では，主に問題解決のための技術調査と予備実験を行った．課題は３６０度パノラマ画像からの自由視点映像の生成であるが，そのためには画像からシーンの３次元情報を復元することが不可欠である．コンピュータビジョンにおける３次元復元手法は画像間対応点ベースの手法が主であるが，一般的に計算コストが問題となるため，提案するリアルタイムの画像合成には適さない．そこで，我々は計算コストが一般的に低い機械学習に基づく３次元復元手法を検討した．しかし，３次元復元分野においては，深層学習を利用したアプローチの適用が困難である．それは３次元復元においては一般的に入力する画像の枚数が不定であるため，静的なネットワークを定義する事ができないためである．そこで我々はまず最初の問題設定として任意枚数の画像に対して深層畳み込みネットワークを適用して３次元復元を行う方法に関しての検討を行った．これにはフォトメトリックステレオ法と呼ばれる問題を対象にした．これは異なる光源下で撮影された複数枚の画像から被写体の密な３次元法線を復元する手法である．入力される画像の枚数は毎回異なるため，既存の静的なネットワークでは扱うことができなかった問題である．我々が提案した手法は，複数枚の画像を固定長の中間表象に一旦変換しそれをネットワークへの入力とする．我々の実験は，提案された深層学習に基づくアプローチが既存のどのフォトメトリックステレオ法のアルゴリズムよりも精度や速度の点で優れていることを示した．この結果から，複数枚のパノラマ画像に対しても一旦固定長の表象に変換することができれば，同様に深層学習に基づいてシーンの奥行きを推定できるのではないかと考えた．この知見に基づき，平成３０年度は実際にパノラマ画像から３次元情報を復元しそれを利用した自由視点映像合成手法を検討する．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初の予定では，１台のＲＧＢ－Ｄパノラマカメラで撮影された画像群から屋内・静止シーンにおける任意視点３Ｄパノラマ画像生成が目標であったが，
現在はパノラマ画像からの高速な３次元復元を行うために，予備研究として深層学習を利用した３次元復元の研究を終えて，それをパノラマ画像へと発展させるための検討に取り組んでいる段階であり，当初の予定からはやや遅れていると評価している．
|
| Strategy for Future Research Activity |
平成３０年度は，実際にパノラマ画像を利用して３次元復元を行いその結果を利用して屋内環境の自由視点映像を実際に生成することを目標とする．先にＲＧＢ－Ｄ画像を利用した復元を行う予定であったが，予定から少し遅れている事もあり，最初からＲＧＢパノラマ画像から深層学習を利用してシーンの３次元構造を復元することを試みる．その際に，屋内環境特有のセマンティックな情報を利用して単眼の画像からでも得られる奥行き情報を上手く活用することを試みる．それが成功したら，複数枚の画像を利用した深層学習を用いて３次元復元および自由視点映像合成を目指す．
|
