リアルタイム三次元画像センサを用いた人物立体像伝送による遠隔会議

1996 年度 実績報告書

• 研究課題/領域番号: 08234219
• 研究機関: 奈良先端科学技術大学院大学
• 研究代表者: 佐藤 宏介 奈良先端科学技術大学院大学, 情報科学研究科, 助教授 (90187188)
• 研究分担者: 千原 國宏 奈良先端科学技術大学院大学, 情報科学研究科, 教授 (80029561)
• キーワード: モーションキャプチャ / アバタ- / 手話 / 手袋型センサ / ジェスチャ / 仮想会議 / 超低ビットレート通信 / マルチメディア通信

研究概要

より柔軟な遠隔共同作業の実現するため、人物像のカラー画像情報に加えて立体形状をもリアルタイム計測し、ネットワークを介して高リアリティな立体人物像を呈示することを目的とする。受信側の視点の変動や作業対象の移動・回転に対して、送信側へサーボ駆動指令を送ることなく、受信側の処理のみにより仮想表示する。これにより、カメラのサーボ移動などのメカ機構による応答遅れない遠隔共同作業の実現する。同時に人物像の立体形状の計測に適したレーザ投光式のよるリアルタイム三次元画像センサを適用する。実世界の実時間計測、移動型VRシステム、アプリケーション指向モデルを組み合わせた、新しい人工現実感技術と通信技術の融合を研究するため、立体人物像(アバタ-)介在型遠隔会議システムの構成を提案した。そのために、1)立体表情伝送、2)低ビットレート実装の2つの大きな技術開発を行い、A)リアルタイム顔形状計測、B)リアルタイム顔画像計測の各技術を研究し、ア)リアルタイム三次元センサによる顔形状の計測による立体表情伝達と、イ)H.261による顔画像を圧縮し低ビットレート実装を試みた。
現在利用している距離画像センサは、24×24画素と解像度が低く、データ量は多くない。フレームレート30Hzとした場合、顔の形状データは7K bpsとなる。顔のカラー画像についたは、顔を大きくクローズアップして撮影するので、画像内の動きが口や目の回りに限定され、比較的圧縮しやすい。
QCIF解像度で64K bpsのデータ量で、十分表情を伝達することができた。音声データに32K、その他制御データに18K割り当てたとしても、合計128K bpsで、INS-64回線の最大データ幅に納めることが出きることが確認できた。

研究成果

• [文献書誌] Tomohiro Kuroda: "Reconstruction of Signer′s Actions in a VR Telecommunication System for Sign Language" Proc.of International Conference on Virtual Systems and Multimedia ′96 in Gifu. 429-432 (1996)
• [文献書誌] Yoshihiro Ban: "AR Backpacker for Manufacturing and Inspection" Proc.of International Conference on Virtual Systems and Multimedia ′96 in Gifu. 55-58 (1996)
• [文献書誌] Yoshiyuki Kirishima: "A Novel Approach on Gesture Recognition-The Gesture Protocol-Based Gesture Interface" Proc.of International Conference on Virtual Systems and Multimedia ′96 in Gifu. 433-438 (1996)
• [文献書誌] Yoshihiro Ban: "A Portable VR-based Inspection System with See-Through HMD" Proc.of 1996 Japan-U.S.A.Symposium of Flexible. 975-978 (1996)
• [文献書誌] Tomohiro Kuroda: "STEL:VR-based sign language telecommunication system" 7th International Conference on Human-Computer Interaction. (発表予定). (1997)
• [文献書誌] Tomohiro Kuroda: "S-TEL:A Telecommunication System for Sign Language" Proc.of First Asia Pacific Conference on Human Computer Interaction. 83-91 (1996)