| 研究課題/領域番号 |
21K17783
|
|---|
| 研究種目 |
若手研究
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
小区分61020:ヒューマンインタフェースおよびインタラクション関連
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
金 賢梧 東京大学, 生産技術研究所, 特任助教 (60817328)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
3,640千円 (直接経費: 2,800千円、間接経費: 840千円)
2023年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2022年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2021年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
|
|---|
| キーワード | 高速カメラネットワーク / 顔ポーズトラッキング / 同期精度評価手法 / 高速ビジョンシステム / 遠隔映像コミュニケーション / コミュニケーション支援 / コンピュータビジョン / 機械学習 |
|---|
| 研究開始時の研究の概要 |
新型コロナウイルス感染症の世界的流行により、遠隔コミュニケーションを支援するオンライン会議・会話システムの重要性が高まり、音声と映像によるコミュニケーション支援技術が注目されている。そのため、複数の会議参加者が仮想空間内で形成する位置関係や視線・ジェスチャーなどの情報交換を実時間反映できるリアルな画像提示技術の必要性が増している。本研究では、1,000fpsの高速分散型スマートカメラネットワークとAI基盤の顔認識技術を発展させ、オンライン会議向けの最適映像取得と低遅延提示が可能な高速ビジョンシステムの実現を目指す。
|
| 研究実績の概要 |
本研究では、1,000fpsの高速スマートカメラネットワークとAI基盤の顔認識技術を発展させ、オンライン会議向けの最適映像取得と低遅延提示が可能な高速ビジョンシステムの実現を目指している。
2022年度では、高速ビジョンシステムの動的構造化と高速な最適画像提示手法の定立を目標に下記のような研究を遂行した。 まず、高速カメラネットワークにおけるマルチカメラの視線を適応的に可変できるように、多関節リンク構造と小型アクチュエータから構成される６軸電動カメラ土台を導入して、各カメラの視線が同平面内で自由に制御できるような動的カメラシステムを構築した。カメラシステムのアクチュエータはエンコーダおよび小型プロセッサーを内蔵したものであり、外部コントローラが不要でネットワーク指令だけで動作できるため、簡素化と拡張性に優れた構造となる。本動的カメラシステムを用いることでマネキンの顔画像を多様な方向から撮像でき、AIによる高速顔姿勢認識に必要な学習データを習得することができた。 また、マルチカメラから得られるマルチ画像を適切に提示するためのトラッキング手法について研究を行い、マルチカメラ画像間を跨って移動する複数のターゲットを同定・トラッキングする手法を提案し、2次元的な動きに対する有効性を検証した。今年度の成果である動的な視線制御およびマルチカメラでのトラッキング手法を活用し、最適な画像提示ができる高速ビジョンシステムのプロトタイプを実装・評価する予定である。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
高速ビジョンシステムにおいて動的な視線制御ができるようなハードウェア実装が済んでおり、多様な角度からの顔画像を安定に取得できるようになった。また、自由な映像提示のコアとなるビジョンスイッチングに必要な顔ポーズの高速認識についても研究が進んでおり、おおむね順調に進展している。
|
| 今後の研究の推進方策 |
本年度に構築した高速ビジョンシステムを活用した任意の顔画像提示について研究を進める。仮想的な遠隔会議を想定し、適切な顔画像の提示がリアルタイムで実現できるようにソフトウェアの実装を進めていく予定である。
|
