Development of high-speed vision system for online video communication
| Project/Area Number |
21K17783
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
金 賢梧 東京大学, 生産技術研究所, 特任助教 (60817328)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | 高速カメラネットワーク / 顔ポーズトラッキング / 同期精度評価手法 / 高速ビジョンシステム / 遠隔映像コミュニケーション / コミュニケーション支援 / コンピュータビジョン / 機械学習 |
|---|
| Outline of Research at the Start |
新型コロナウイルス感染症の世界的流行により、遠隔コミュニケーションを支援するオンライン会議・会話システムの重要性が高まり、音声と映像によるコミュニケーション支援技術が注目されている。そのため、複数の会議参加者が仮想空間内で形成する位置関係や視線・ジェスチャーなどの情報交換を実時間反映できるリアルな画像提示技術の必要性が増している。本研究では、1,000fpsの高速分散型スマートカメラネットワークとAI基盤の顔認識技術を発展させ、オンライン会議向けの最適映像取得と低遅延提示が可能な高速ビジョンシステムの実現を目指す。
|
| Outline of Annual Research Achievements |
本研究では、1,000fpsの高速スマートカメラネットワークとAI基盤の顔認識技術を発展させ、オンライン会議向けの最適映像取得と低遅延提示が可能な高速ビジョンシステムの実現を目指している。
2022年度では、高速ビジョンシステムの動的構造化と高速な最適画像提示手法の定立を目標に下記のような研究を遂行した。 まず、高速カメラネットワークにおけるマルチカメラの視線を適応的に可変できるように、多関節リンク構造と小型アクチュエータから構成される６軸電動カメラ土台を導入して、各カメラの視線が同平面内で自由に制御できるような動的カメラシステムを構築した。カメラシステムのアクチュエータはエンコーダおよび小型プロセッサーを内蔵したものであり、外部コントローラが不要でネットワーク指令だけで動作できるため、簡素化と拡張性に優れた構造となる。本動的カメラシステムを用いることでマネキンの顔画像を多様な方向から撮像でき、AIによる高速顔姿勢認識に必要な学習データを習得することができた。 また、マルチカメラから得られるマルチ画像を適切に提示するためのトラッキング手法について研究を行い、マルチカメラ画像間を跨って移動する複数のターゲットを同定・トラッキングする手法を提案し、2次元的な動きに対する有効性を検証した。今年度の成果である動的な視線制御およびマルチカメラでのトラッキング手法を活用し、最適な画像提示ができる高速ビジョンシステムのプロトタイプを実装・評価する予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
高速ビジョンシステムにおいて動的な視線制御ができるようなハードウェア実装が済んでおり、多様な角度からの顔画像を安定に取得できるようになった。また、自由な映像提示のコアとなるビジョンスイッチングに必要な顔ポーズの高速認識についても研究が進んでおり、おおむね順調に進展している。
|
| Strategy for Future Research Activity |
本年度に構築した高速ビジョンシステムを活用した任意の顔画像提示について研究を進める。仮想的な遠隔会議を想定し、適切な顔画像の提示がリアルタイムで実現できるようにソフトウェアの実装を進めていく予定である。
|
Report
(2 results)
Research Products
(3 results)
