Development of high-speed vision system for online video communication
| Project/Area Number |
21K17783
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
金 賢梧 東京大学, 生産技術研究所, 特任助教 (60817328)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | 遠隔映像コミュニケーション / 高速ビジョンシステム / 高速画像処理 / 顔姿勢検出 / 高速カメラネットワーク / 顔ポーズトラッキング / 同期精度評価手法 / コミュニケーション支援 / コンピュータビジョン / 機械学習 |
|---|
| Outline of Research at the Start |
新型コロナウイルス感染症の世界的流行により、遠隔コミュニケーションを支援するオンライン会議・会話システムの重要性が高まり、音声と映像によるコミュニケーション支援技術が注目されている。そのため、複数の会議参加者が仮想空間内で形成する位置関係や視線・ジェスチャーなどの情報交換を実時間反映できるリアルな画像提示技術の必要性が増している。本研究では、1,000fpsの高速分散型スマートカメラネットワークとAI基盤の顔認識技術を発展させ、オンライン会議向けの最適映像取得と低遅延提示が可能な高速ビジョンシステムの実現を目指す。
|
| Outline of Annual Research Achievements |
高速な顔映像生成に必要なビジョンシステムを構築し，複数の映像間の時間軸における整合性を評価するための同期精度評価手法を提案した．提案手法より，1k fpsの高速撮像の同期精度評価が可能であることを実証した．さらに，撮像の高速性を利用して，複数のカメラ視野に跨がる物体の同定手法を開発した．この手法より，位置関係考慮した単純なアルゴリズムで軽量なマッチングが可能であることが確認できた．遠隔映像コミュニケーションを支援するには，高速ビジョンシステムが異なる視点の映像を高速で同期生成し，生成映像を撮像周期以内に合わせて処理する必要がある．上記の成果より，提案する高速ビジョンシステムの活用性が確認された．
構築した高速ビジョンシステムを用いて高速な顔姿勢検出や映像安定化手法を提案した．まず，顔姿勢の迅速な検出を目指し，比較的時間がかかるAIによる特徴マッチングを省略し，各カメラからの映像入力から直接，顔に対するカメラの姿勢をクラス分けタスクとして求める手法を検討した．検出手法の処理時間を定量的に評価することで，500 fpsの高速ビジョンシステムに対する検討手法の実装可能性を確認できた，さらに，ビジョンシステムの使用毎にキャリブレーションが不要となるよう，カメラシステムの動的構造化を行なった．この動的構造化より，顔の水平位置を画面の真ん中に保てるため，提示映像の安定化や検出精度の向上が期待できる．これらの要素技術を基盤に，仮想空間内の複数の会議参加者を想定した最適な映像提示手法を提案した．会議参加者の位置関係や視線を考慮した適応的な映像提示が可能となるため，臨場感の高い遠隔映像コミュニケーションが実現可能と考えられる．
|
Report
(3 results)
Research Products
(4 results)
