| Research Abstract |
本研究では,人間の動作の持つ種々の側面を計算機に可読な形で記述する枠組についての調査,データ蓄積を行った。具体的には,(1)種々の状況における人物行動の蓄積のための記述形式と蓄積方法についての基礎的な研究と,マルチモーダルデータベースのプロトタイプの開発,(2)複数カメラを用いた人物動作の注目すべき部分の追跡,(3)注目部分を選択することによる人物動作の要約,の3つの点について重点的に研究を行った。
(1)では,可動カメラを含む複数のカメラ,磁気位置センサを用い,種々の状況における画像,動作,音声を大量に記録し,人間による動作の解釈などを付加して蓄積した.また,動作は時間的な流れの中で行われるものであり,物理的な位置の変化,画像として観測した場合の見え方の変化,同時に発せられる発話,動作の持つ物理的な役割等を時間的に関連付けて記述した.これにより,種々の状況において人間が行う動作の種類,数,また,発話などとの共起性を調べることが可能になった.(2)では,複数の視点から,重要な注目要素(手先,顔,机上の物体等)を追跡しながら撮影し,時間的に関係付けて蓄積した.これにより,体の各部位の位置や動きだけでなく,個々の部位の動きと環境の相互作用,動作がコミュニケーションの手段として持つ意味をより詳細に記録,調査することが可能になった.(3)では,(2)で得られたデータを用いて,実際に人間を観測する際のタイミング,注視点などを選ぶ方法のついて検討し,指示動作検出,簡単なプレゼンテーション映像の生成,編集,要約の可能性を示した.
|
