1996 Fiscal Year Annual Research Report

ロボット視覚における人物行動理解のための音声言語情報を援用した注意制御機構の実現

Research Project

Project/Area Number	08235204
Research Institution	University of Tsukuba
Principal Investigator	中村裕一筑波大学, 電子・情報工学系, 講師 (40227947)
Co-Investigator(Kenkyū-buntansha)	大田友一筑波大学, 電子・情報工学系, 教授 (50115804)
Keywords	知能ロボット / 人物行動理解 / ジェスチャー認識 / 画像理解 / マルチモーダル / マンマシンコミュニケーション / 注視点制御 / 音声言語
Research Abstract	視覚による人間の行動理解や追跡を行うために,人間の発話,行動に柔軟に対応し,視覚によるセンシングのためのタイミングや注視点を動的に選択する機構に関する研究を行ってきた.具体的には,以下のものがあげられる. 1.人間の重要なコミュニケーション手段である身振り動作(ジェスチャーよりもより広い範囲を含む)の分類と,それと同時に発せられる簡単な音声言語との対応関係の調査. 2.得られた身振り動作と言語の対応関係を用いて動作の識別,注目するべき点を選択するための,基本的な方法論の構築. 3.実際にシステムとして構築するための方法論の提案. これらの研究の成果として,人間がその動作によって表す情報と,動作に伴って発せられる音声言語との基本的な関係,システムの実現可能性が明らかになってきている.具体的には,以下の通りである. ・動作と発話の関係が,人間の動作がもつ曖昧性を解消するよい手がかりとなることについて明らかにした. ・また,それを計算機によって実現する実際的な方法論について提案した. ・その有効性を確かめるために,話者の手及び上体の動作を磁気センサを用いた計測によって詳細に記録し,得られたデータからの自動的な特徴抽出を試みた.その結果,曖昧性が大きいものの,抽出・認識したい動作の候補区間を抽出することが可能であること,発話を用いてかなりの曖昧性を解消できることを明らかにした. 今後,以下のような点を明らかにしていくことによって,実際に稼働するシステムとして実現することが課題である. ・音声認識との結合と,それにより起こる問題点を明らかにする. ・実時間で動作させる実験と,そのための問題点を明らかにする.

Research Products
(6 results)

All Other

All Publications (6 results)

[Publications] 中村裕一他: "Knowledge Extraction from Diagram and Text for Media Integration" Int.Conference on Multimedia and Communication Systems. 437-441 (1996)
[Publications] 中村裕一他: "Occlusion Detectable Stereo-Occlusion Patterns in Camera Matrix" IEEE Conference on Computer Vision and Pattern Recognition. 371-378 (1996)
[Publications] 佐藤清秀他: "Occlusion Detectable Stereo-Systematic Comparison of Detection Algorithms" Int.Conference on Pattern Recognition. A280-286 (1996)
[Publications] E.Hussein 他: "Analysis of Detailed Patterns of Contour Shapes Using Wavelet Extrema" Int.Conference on Pattern Recognition. B335-339 (1996)
[Publications] 蔵田武志他: "Feature Tracking on Occluding Boundaries for Modeling-by-videotaping" Int.Conference on Virtual Systems and Multimedia. 123-128 (1996)
[Publications] 向川康博他: "2枚の顔写真を用いた任意方向の顔画像の生成" 情報処理学会論文誌. 37・4. 635-644 (1996)

1996 Fiscal Year Annual Research Report

ロボット視覚における人物行動理解のための音声言語情報を援用した注意制御機構の実現

Principal Investigator

中村 裕一 筑波大学, 電子・情報工学系, 講師 (40227947)

Research Products

[Publications] 中村 裕一他: "Knowledge Extraction from Diagram and Text for Media Integration" Int.Conference on Multimedia and Communication Systems. 437-441 (1996)

[Publications] 中村 裕一他: "Occlusion Detectable Stereo-Occlusion Patterns in Camera Matrix" IEEE Conference on Computer Vision and Pattern Recognition. 371-378 (1996)

[Publications] 佐藤 清秀他: "Occlusion Detectable Stereo-Systematic Comparison of Detection Algorithms" Int.Conference on Pattern Recognition. A280-286 (1996)

[Publications] E.Hussein 他: "Analysis of Detailed Patterns of Contour Shapes Using Wavelet Extrema" Int.Conference on Pattern Recognition. B335-339 (1996)

[Publications] 蔵田 武志 他: "Feature Tracking on Occluding Boundaries for Modeling-by-videotaping" Int.Conference on Virtual Systems and Multimedia. 123-128 (1996)

[Publications] 向川 康博 他: "2枚の顔写真を用いた任意方向の顔画像の生成" 情報処理学会論文誌. 37・4. 635-644 (1996)

中村裕一筑波大学, 電子・情報工学系, 講師 (40227947)

[Publications] 中村裕一他: "Knowledge Extraction from Diagram and Text for Media Integration" Int.Conference on Multimedia and Communication Systems. 437-441 (1996)

[Publications] 中村裕一他: "Occlusion Detectable Stereo-Occlusion Patterns in Camera Matrix" IEEE Conference on Computer Vision and Pattern Recognition. 371-378 (1996)

[Publications] 佐藤清秀他: "Occlusion Detectable Stereo-Systematic Comparison of Detection Algorithms" Int.Conference on Pattern Recognition. A280-286 (1996)

[Publications] 蔵田武志他: "Feature Tracking on Occluding Boundaries for Modeling-by-videotaping" Int.Conference on Virtual Systems and Multimedia. 123-128 (1996)

[Publications] 向川康博他: "2枚の顔写真を用いた任意方向の顔画像の生成" 情報処理学会論文誌. 37・4. 635-644 (1996)