| Project/Area Number |
21K17783
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
Kim Hyuno 東京大学, 生産技術研究所, 特任助教 (60817328)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | 遠隔映像コミュニケーション / 高速ビジョンシステム / 高速画像処理 / 顔姿勢検出 / 高速カメラネットワーク / 顔ポーズトラッキング / 同期精度評価手法 / コミュニケーション支援 / コンピュータビジョン / 機械学習 |
|---|
| Outline of Research at the Start |
新型コロナウイルス感染症の世界的流行により、遠隔コミュニケーションを支援するオンライン会議・会話システムの重要性が高まり、音声と映像によるコミュニケーション支援技術が注目されている。そのため、複数の会議参加者が仮想空間内で形成する位置関係や視線・ジェスチャーなどの情報交換を実時間反映できるリアルな画像提示技術の必要性が増している。本研究では、1,000fpsの高速分散型スマートカメラネットワークとAI基盤の顔認識技術を発展させ、オンライン会議向けの最適映像取得と低遅延提示が可能な高速ビジョンシステムの実現を目指す。
|
| Outline of Final Research Achievements |
I have developed a high-speed vision system for remote video communication and proposed a method to evaluate the accuracy of video frame synchronization on the timeline. Additionally, I introduced a method to match and identify a target object across multiple camera views.
Furthermore, I assessed an AI-based method for classifying the pose between the face and camera directly from camera images, bypassing conventional AI feature matching. I also redesigned the camera system by implementing a movable structure that eliminates the need for pre-calibration of the vision system before usage.
Finally, based on these findings, I proposed a method to display appropriate video scenes for multiple participants in a virtual conference.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究では，従来の遠隔映像コミュニケーションで利用されていたwebカメラに置き換え，臨場感向上が期待できる高速ビジョンシステムを提案し，選択的映像配信手法を確立した．提案システムでは，仮想空間内における会議参加者の位置関係や視線などを考慮し，ある参加者周りのマルチモニター環境において最適な映像を選択的に生成して配信することができる. 画一的な正面方向からの映像配信から脱皮して，よりリアルな仮想会議を再現できるため，会議参加者間の感情交流も強化されると期待される．さらに，多方向からの任意姿勢の映像が生成および記録できるため，デジタルアーカイブ用の入力装置としても応用展開が期待できる．
|
