Development of high-speed vision system for online video communication

2023 Fiscal Year Final Research Report

• Project/Area Number: 21K17783
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61020:Human interface and interaction-related
• Research Institution: The University of Tokyo
• Principal Investigator: Kim Hyuno 東京大学, 生産技術研究所, 特任助教 (60817328)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 遠隔映像コミュニケーション / 高速ビジョンシステム / 高速画像処理

Outline of Final Research Achievements

I have developed a high-speed vision system for remote video communication and proposed a method to evaluate the accuracy of video frame synchronization on the timeline. Additionally, I introduced a method to match and identify a target object across multiple camera views.
Furthermore, I assessed an AI-based method for classifying the pose between the face and camera directly from camera images, bypassing conventional AI feature matching. I also redesigned the camera system by implementing a movable structure that eliminates the need for pre-calibration of the vision system before usage.
Finally, based on these findings, I proposed a method to display appropriate video scenes for multiple participants in a virtual conference.

Free Research Field

情報理工学

Academic Significance and Societal Importance of the Research Achievements

本研究では，従来の遠隔映像コミュニケーションで利用されていたwebカメラに置き換え，臨場感向上が期待できる高速ビジョンシステムを提案し，選択的映像配信手法を確立した．提案システムでは，仮想空間内における会議参加者の位置関係や視線などを考慮し，ある参加者周りのマルチモニター環境において最適な映像を選択的に生成して配信することができる.　画一的な正面方向からの映像配信から脱皮して，よりリアルな仮想会議を再現できるため，会議参加者間の感情交流も強化されると期待される．さらに，多方向からの任意姿勢の映像が生成および記録できるため，デジタルアーカイブ用の入力装置としても応用展開が期待できる．