2023 Fiscal Year Annual Research Report
Development of high-speed vision system for online video communication
| Project/Area Number |
21K17783
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
金 賢梧 東京大学, 生産技術研究所, 特任助教 (60817328)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 遠隔映像コミュニケーション / 高速ビジョンシステム / 高速画像処理 / 顔姿勢検出 |
|---|
| Outline of Annual Research Achievements |
高速な顔映像生成に必要なビジョンシステムを構築し，複数の映像間の時間軸における整合性を評価するための同期精度評価手法を提案した．提案手法より，1k fpsの高速撮像の同期精度評価が可能であることを実証した．さらに，撮像の高速性を利用して，複数のカメラ視野に跨がる物体の同定手法を開発した．この手法より，位置関係考慮した単純なアルゴリズムで軽量なマッチングが可能であることが確認できた．遠隔映像コミュニケーションを支援するには，高速ビジョンシステムが異なる視点の映像を高速で同期生成し，生成映像を撮像周期以内に合わせて処理する必要がある．上記の成果より，提案する高速ビジョンシステムの活用性が確認された．
構築した高速ビジョンシステムを用いて高速な顔姿勢検出や映像安定化手法を提案した．まず，顔姿勢の迅速な検出を目指し，比較的時間がかかるAIによる特徴マッチングを省略し，各カメラからの映像入力から直接，顔に対するカメラの姿勢をクラス分けタスクとして求める手法を検討した．検出手法の処理時間を定量的に評価することで，500 fpsの高速ビジョンシステムに対する検討手法の実装可能性を確認できた，さらに，ビジョンシステムの使用毎にキャリブレーションが不要となるよう，カメラシステムの動的構造化を行なった．この動的構造化より，顔の水平位置を画面の真ん中に保てるため，提示映像の安定化や検出精度の向上が期待できる．これらの要素技術を基盤に，仮想空間内の複数の会議参加者を想定した最適な映像提示手法を提案した．会議参加者の位置関係や視線を考慮した適応的な映像提示が可能となるため，臨場感の高い遠隔映像コミュニケーションが実現可能と考えられる．
|
