Synthesizing fixed point of views from a spinning ball camera

2019 Fiscal Year Final Research Report

• Project/Area Number: 16K12473
• Research Category: Grant-in-Aid for Challenging Exploratory Research
• Allocation Type: Multi-year Fund
• Research Field: Human interface and interaction
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: Koike Hideki 東京工業大学, 情報理工学院, 教授 (70234664)
• Project Period (FY): 2016-04-01 – 2020-03-31
• Keywords: ボールカメラ / 全天球動画 / イメージスティッチング / 疑似直進映像 / 画像安定化

Outline of Final Research Achievements

We developed a ball camera with an omnidirectional camera and its image processing algorithm to fix the point of view (POV) for spectating of ball sports. The problem of an omnidirectional video taken with this ball camera is that the POV is unstable since the camera pose changes as the ball rotations. We propose a method to generate a POV-fixed omnidirectional video by estimating the change of camera pose by feature matching and applying the pose modification process to each frame. We applied this method to some sports such as bowling, water polo, and soft ball, and showed our method is effective in any situation. We also applied this method to capsule endoscopy which has similar design as the camera ball.

Free Research Field

Vision-based HCI

Academic Significance and Societal Importance of the Research Achievements

スマートフォン内蔵カメラの小型化からわかるように，将来的にカメラはさらなる小型軽量化が進むと考えられる．こうした超小型カメラをボールに搭載することで，ボールスポーツにおいて今まで得られなかったボール視点映像を提供することができるようになる．しかし，カメラを内蔵しただけでは高速回転映像に耐えられない．本研究で開発した手法は，こうした高速回転映像を，あたかも回転していないかのような疑似直進映像に変換するものである．将来的には，ボールスポーツにおいてボールの位置からスポーツを観戦することができるようになる．