1997 Fiscal Year Annual Research Report
ロボット視覚における人物行動理解のための音声言語情報を援用した注意制御機構の実現
Project/Area Number |
09221205
|
Research Institution | University of Tsukuba |
Principal Investigator |
中村 裕一 筑波大学, 電子情報工学系, 講師 (40227947)
|
Co-Investigator(Kenkyū-buntansha) |
大田 友一 筑波大学, 電子情報工学系, 教授 (50115804)
|
Keywords | 人物行動理解 / マルチモーダル処理 / 人物動作の蓄積 / 注目要素選択 / 多視点観測システム / プレゼンテーション映像処理 / 指示動作検出 |
Research Abstract |
本研究では,視覚による人間の行動理解や追跡を柔軟に行うためのメカニズムを計算機上に構築することを目的としている.そのために,人間の発話,行動に柔軟に対応し,視覚によるセンシングのためのタイミングや注視点を動的に選択するための方法について研究を行った.ただし,一般的な広い範囲の状況を考えるのは,現在の段階では難しいため,本研究ではプレゼンテーション題材とした.プレゼンテーションでは,話者が明確な意図を持って物事を相手に説明するために,発話,行動に強い相互関係が現れ,比較的扱いやすい対象となるためである. 本年度は,(1)種々状況における人物行動と発話の蓄積(データベース化)と解析,(2)複数のカメラを用いて人間の動作を観測する際の注目要素選択,(3)注目部分を選択することによる人物動作の要約,の3つの点について重点的に研究を行った.具体的には,可動カメラを含む複数のカメラ,磁気位置センサを用い,種々の状況における画像,動作,音声を大量に記録し,人間による動作の解釈などを付加して蓄積した.これにより,種々の状況において人間が行う動作の動作の種類,数 また,発話などとの共起性を調べることが可能になった.本研究では実際に得られた結果を基に,動作と発話を用いた指示動作の検出を行い,良好な認識結果が得られることが分かった.また,動作と発話の共起性を用いて人間を観測する際のタイミング,注視点などを選ぶ方法について検討し,プレゼンテーション映像の生成,編集,要約が行えることを確認した.
|
Research Products
(6 results)
-
[Publications] 松浦友彦.その他: "隠れ検出の可能な多眼ステレオ法" 電子情報通信学会論文誌. Vol.J80-DII. 1432-1440 (1997)
-
[Publications] 向川康博.その他: "複数の顔画像の組合わせによる任意方向・任意表情の顔画像の生成" 電子情報通信学会論文誌. Vol.J80-DII. 1555-1562 (1997)
-
[Publications] Y.Nakamura その他: "Semantic Analysis for Video Contents Extraction" ACM Multimedia'97. 394-401 (1997)
-
[Publications] Y.Mukaigawa その他: "Face Synthesis with Arbitrary Pose and Expression from Several Images" Asian Conference on Computer Vision. Vol.1. 680-687 (1998)
-
[Publications] 木村義文, その他: "発話情報と動作情報を用いたプレゼンテーション映像の要約" 信学技報. PRMU 97-197. 7-14 (1998)
-
[Publications] Y.Nakamura その他: "Multimodal Multi-view Integrated Database for Human Behavior Understanding" IEEE International Conference on Automatic Face and Gesture Recognition. (1998)