| 研究課題/領域番号 |
21K17783
|
|---|
| 研究種目 |
若手研究
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
小区分61020:ヒューマンインタフェースおよびインタラクション関連
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
金 賢梧 東京大学, 生産技術研究所, 特任助教 (60817328)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
3,640千円 (直接経費: 2,800千円、間接経費: 840千円)
2023年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2022年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2021年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
|
|---|
| キーワード | 遠隔映像コミュニケーション / 高速ビジョンシステム / 高速画像処理 / 顔姿勢検出 / 高速カメラネットワーク / 顔ポーズトラッキング / 同期精度評価手法 / コミュニケーション支援 / コンピュータビジョン / 機械学習 |
|---|
| 研究開始時の研究の概要 |
新型コロナウイルス感染症の世界的流行により、遠隔コミュニケーションを支援するオンライン会議・会話システムの重要性が高まり、音声と映像によるコミュニケーション支援技術が注目されている。そのため、複数の会議参加者が仮想空間内で形成する位置関係や視線・ジェスチャーなどの情報交換を実時間反映できるリアルな画像提示技術の必要性が増している。本研究では、1,000fpsの高速分散型スマートカメラネットワークとAI基盤の顔認識技術を発展させ、オンライン会議向けの最適映像取得と低遅延提示が可能な高速ビジョンシステムの実現を目指す。
|
| 研究成果の概要 |
遠隔映像コミュニケーション支援に向けた高速ビジョンシステムを構築し，複数の映像間の時間軸上の整合性を評価するための同期精度評価手法を提案した．さらに，撮像の高速性を利用して，複数のカメラ視野にまたがる物体の同定手法を開発した．また，顔姿勢の迅速な検出を目指し，比較的時間がかかるAIによる特徴マッチングを省略し，各カメラからの画像入力から顔に対するカメラの姿勢を直接求める手法を評価した．さらに，ビジョンシステムの使用毎にキャリブレーションが不要となるよう，カメラシステムの動的構造化を行なった．これらの要素技術を基盤に，仮想空間内の複数の会議参加者を想定した最適な映像提示手法を提案した．
|
| 研究成果の学術的意義や社会的意義 |
本研究では，従来の遠隔映像コミュニケーションで利用されていたwebカメラに置き換え，臨場感向上が期待できる高速ビジョンシステムを提案し，選択的映像配信手法を確立した．提案システムでは，仮想空間内における会議参加者の位置関係や視線などを考慮し，ある参加者周りのマルチモニター環境において最適な映像を選択的に生成して配信することができる. 画一的な正面方向からの映像配信から脱皮して，よりリアルな仮想会議を再現できるため，会議参加者間の感情交流も強化されると期待される．さらに，多方向からの任意姿勢の映像が生成および記録できるため，デジタルアーカイブ用の入力装置としても応用展開が期待できる．
|
