2019 Fiscal Year Annual Research Report
Synthesizing fixed point of views from a spinning ball camera
| Project/Area Number |
16K12473
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
小池 英樹 東京工業大学, 情報理工学院, 教授 (70234664)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | 画像安定化 / ボールカメラ / 全天球動画 / 疑似直進映像 / イメージスティッチング |
|---|
| Outline of Annual Research Achievements |
最終年度である令和元年度はシステムの完成を目指し，疑似直進映像生成プログラムのチューニングによる処理の高速化を実現した．具体的には，全天周映像の回転処理をGPUで処理することで，従来に比べ5～10倍高速となった．また，これまでの設計ではボールの中心に2台の超魚眼カメラを置くことで全天周映像の撮影をしていたが，ボールカメラの実用化を念頭にボールの表面にカメラを配置し，これらからの映像をスティッチングすることで全天周映像を合成することに取り組んだ．この設計の場合，ボール表面は透明アクリルである必要はなく，また，球体内は現状のボール同様に空気で充填することができる．具体的には，ラグビーボールの2箇所の先端部分に各一台の魚眼カメラ（画角185度）を配置した．ここで問題となったのが，2台のカメラが離れて配置されることによる死角の顕著化である．これに対し我々は，深層学習を用いたGenerative Adversarial Networks(GAN)等を用いる手法と，Onion-Peel Networkを用いて死角部分の画像を自動生成し補完する手法を適用した．その結果，個々の手法に一長一短があるが，総合的にはOnion-Peel Networkを用いる手法の方が優れており，静止画としてみた場合には若干不自然な部分もあるが，動画としてみた場合には死角部分のないより自然な映像を合成することができた．本研究成果は，査読付き国際会議Augmented Humans (AHs 2020)に採択され発表を行った．
以上，本課題の当初の目的である「カメラ内蔵ボールを用いた疑似直進映像合成」を実現することができた．
|
Research Products
(1 results)
