2022 Fiscal Year Research-status Report
Development of high-speed vision system for online video communication
| Project/Area Number |
21K17783
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
金 賢梧 東京大学, 生産技術研究所, 特任助教 (60817328)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 高速カメラネットワーク / 顔ポーズトラッキング |
|---|
| Outline of Annual Research Achievements |
本研究では、1,000fpsの高速スマートカメラネットワークとAI基盤の顔認識技術を発展させ、オンライン会議向けの最適映像取得と低遅延提示が可能な高速ビジョンシステムの実現を目指している。
2022年度では、高速ビジョンシステムの動的構造化と高速な最適画像提示手法の定立を目標に下記のような研究を遂行した。 まず、高速カメラネットワークにおけるマルチカメラの視線を適応的に可変できるように、多関節リンク構造と小型アクチュエータから構成される６軸電動カメラ土台を導入して、各カメラの視線が同平面内で自由に制御できるような動的カメラシステムを構築した。カメラシステムのアクチュエータはエンコーダおよび小型プロセッサーを内蔵したものであり、外部コントローラが不要でネットワーク指令だけで動作できるため、簡素化と拡張性に優れた構造となる。本動的カメラシステムを用いることでマネキンの顔画像を多様な方向から撮像でき、AIによる高速顔姿勢認識に必要な学習データを習得することができた。 また、マルチカメラから得られるマルチ画像を適切に提示するためのトラッキング手法について研究を行い、マルチカメラ画像間を跨って移動する複数のターゲットを同定・トラッキングする手法を提案し、2次元的な動きに対する有効性を検証した。今年度の成果である動的な視線制御およびマルチカメラでのトラッキング手法を活用し、最適な画像提示ができる高速ビジョンシステムのプロトタイプを実装・評価する予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
高速ビジョンシステムにおいて動的な視線制御ができるようなハードウェア実装が済んでおり、多様な角度からの顔画像を安定に取得できるようになった。また、自由な映像提示のコアとなるビジョンスイッチングに必要な顔ポーズの高速認識についても研究が進んでおり、おおむね順調に進展している。
|
| Strategy for Future Research Activity |
本年度に構築した高速ビジョンシステムを活用した任意の顔画像提示について研究を進める。仮想的な遠隔会議を想定し、適切な顔画像の提示がリアルタイムで実現できるようにソフトウェアの実装を進めていく予定である。
|
| Causes of Carryover |
動的構造制御システム開発において制御用ソフトウェアの開発および実装を自ら担当することになり、ハードウェアの調達だけとなったことが次年度使用額が生じた主な理由である。それについては、次年度におけるシステム改良や成果発表用に使用する計画である。
|
Research Products
(2 results)
