2021 Fiscal Year Research-status Report
Development of high-speed vision system for online video communication
| Project/Area Number |
21K17783
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
金 賢梧 東京大学, 生産技術研究所, 特任助教 (60817328)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 顔ポーズトラッキング / 高速カメラネットワーク / 同期精度評価手法 |
|---|
| Outline of Annual Research Achievements |
本研究では、1,000fpsの高速分散型スマートカメラネットワークとAI基盤の顔認識技術を発展させ、オンライン会議向けの最適映像取得と低遅延提示が可能な高速ビジョンシステムの実現を目指している。2021年度の計画では、(1)AIによる顔認識の高速化に必要な条件を明らかににすること、(2)セルフウィンドウ方などの高速化手法の有効性を確認することを目標に下記のような研究を遂行した。
(1)人の顔認識結果を定量的に評価するために、マネキンを用いた評価実験を計画し、convolutional neural networkによる顔の認識とポーズのダイレクトな抽出を確認し、縮小画像とポーズ情報間の機械学習による高速マッピングを実現した。従来のAI手法に比べて、必要とする計算量が少ない軽量化AIでもポーズ検出が可能であることが確認できて、高速ビジョンネットワークへの実装が見込めるようになった。
(2)セルフウィンドウと高速撮像を用いて、視野を跨がるマルチカメラネットワークで活用可能なトラッキング手法を提案し、簡易実験よりその有効性を立証した。厳密なカメラキャリブレーションなしでも、シームレスなトラッキングを可能とする手法となり、今後の動的なカメラ構造制御に応用できると期待できる。
(3)高速カメラネットワークより撮影した画像情報だけを用いた同期精度評価手法を開発して、実験による定量的な検証を行った。外部機器を用いる必要がないため、カメラ同期精度によるアプリケーションの計測精度への影響が簡単に評価可能と期待できる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
軽量AIによる顔検出とポーズの直接的マッチングが確認でき、顔ポーズトラッキング処理の軽量化および高速化が見込めるようになった。依然となるコロナの影響と半導体の供給不足で注文した計算機がまだ納入されてない状況により、一部当初の目標に及ばない部分もあるが、基本的な内容については評価できており、研究は順調と考えられる。カメラネットワークの多視野間を跨がる高速トラッキング手法も提案できて、今後目指す高速ビジョンシステムに応用可能と考えられる。またカメラ間の高速撮像の同期精度評価のための手法が追加で提案できたのも肯定的に評価できる。
|
| Strategy for Future Research Activity |
今年度は納品が遅れているGPU搭載計算機を用いて、AIによる検出結果をより定量的に評価するとともに、アルゴリズムの最適化などを行う予定である。また、その手法が最大活用できるように、高速ビジョンシステムの動的構造化を進めながら、遠隔映像コミュニケーションに必要な映像情報を生成・提示する手法の開発にも着手する。来年度は実際の映像コミュニケーションが模擬できるプロトタイプの高速ビジョンシステムに仕上げるとともに、画像情報を用いた各種のアプリケーションへの拡張も検討し、「遠隔映像コミュニケーション支援に向けた高速ビジョンシステム」の開発を目指す。
|
| Causes of Carryover |
全世界的なコロナの流行とその影響による半導体の供給不足により、既に注文した計算機がまだ納品されてない状況であり、次年度使用額が生じた大きな理由となる。遅れている納品が再開できると、予定通りの使用額として処理できる見込みである。
|
