1996 Fiscal Year Annual Research Report

人物動作の自動理解のための計算機可読マルチモーダル辞書構築に関する基礎的研究

Research Project

Project/Area Number	08458073
Research Category	Grant-in-Aid for Scientific Research (B)
Research Institution	University of Tsukuba
Principal Investigator	大田友一筑波大学, 電子情報工学系, 教授 (50115804)
Co-Investigator(Kenkyū-buntansha)	鈴木恵美子東京家政学院筑波女子大学, 情報処理科, 助教授 (70226497) 中村裕一筑波大学, 電子情報工学系, 講師 (40227947)
Keywords	人間行動理解 / マルチモーダル辞書 / 動作認識 / 発活の理解 / ヒューマンインタフェース / 映像の構造化
Research Abstract	本研究では,人間の動作の持つ種々の側面を計算機に可読な形で記述する枠組について研究を行なってきた.まず,動作に固有な情報として,体の各部位の位置計測,動作に伴う発話,物理的要因(他の力学的な関係等),をデータとして取得することが必要であり,本研究では以下のように計測を行った. ・体の各部位の位置計測:接触型磁気センサによって体の7箇所の部位の位置,方位角を計測する.同時にデータグローブを用い,両手の形状を計測する. ・動作に伴う発話:現在の技術では,完全なデータを自動的に得ることが難しいため,特定の単語を音声認識によってスポッティングする方法,入手で全て書き下す方法の2つを併用している. ・物理的要因(他の力学的な関係等):現在の段階では自動的に力学的な関係などを計測するのが難しいため,人手で,支える,力を加える等の力学的な関係を与える. 以上のようなデータを用いて,次のような研究を行った.これらの研究経過は良好であり,来年度も継続してこれらのテーマに関して研究を行う予定である. ・動作と発話の関係の調査と動作種別の識別:人物行動の意図理解のために,動作と発話の相互関係について調査を行い,多くの典型的な対応関係が見られることを明らかにした.また,それを用いた動作種別の識別方法について検討した. ・発話からの焦点要素の抽出:動作を行っている人物が注意を注いでいる部分を発話から推測する.話題になっている要素(焦点要素)が,動作の中で重要な意味を持っている点,つまり、注目すべき点を選ぶ際のよい基準となることが明らかになっている. 映像の構造解析と要約:放送(具体的にはニュース番組とCM番組)で与えられる言語的,画像的な特徴から,トピックの焦点要素,主張を抽出するための基本的な研究を行った.その結果,比較的簡単な特徴を用いるだけで,送り手側が注意を喚起している部分,つまり,見せたいと考えている部分の抽出が行えることが明らかになっている.

Research Products

(6 results)

All Other

All Publications (6 results)

[Publications] 中村裕一他: "Knowledge Extraction from Diagram and Text for Media Integration" Int.Conference on Multimedia and Communication Systems. 437-441 (1996)
[Publications] 中村裕一他: "Occlusion Detectable Stereo-Occlusion Patterus in Camera Matrix" IEEE Conference on Computer Vision and Pattern Recognition. 371-378 (1996)
[Publications] 木村善文他: "人物行動理解のための発活情報を用いた注目要素選択" 情報処理学会平成9年前期全国大会. A280-286 (1997)
[Publications] E.Hussein 他: "Analysis of Detailed Patterns of Contour Shapes Using Wavelet Extrema" Int.Conference on Patlern Recognition. B335-339 (1996)
[Publications] 蔵田武士他: "Feature Tracking on Occluding Boundaries for Modeling-by-videotaping" Int.Conference on Virtual Systems and Maltimedia. 123-128 (1996)
[Publications] 向川康博他: "2枚の顔写真を用いた任意方向の顔画像の生成" 情報処理学会論文誌. 37・4. 635-644 (1996)

1996 Fiscal Year Annual Research Report

人物動作の自動理解のための計算機可読マルチモーダル辞書構築に関する基礎的研究

Principal Investigator

大田 友一 筑波大学, 電子情報工学系, 教授 (50115804)

Research Products

[Publications] 中村裕一 他: "Knowledge Extraction from Diagram and Text for Media Integration" Int.Conference on Multimedia and Communication Systems. 437-441 (1996)

[Publications] 中村裕一 他: "Occlusion Detectable Stereo-Occlusion Patterus in Camera Matrix" IEEE Conference on Computer Vision and Pattern Recognition. 371-378 (1996)

[Publications] 木村善文他: "人物行動理解のための発活情報を用いた注目要素選択" 情報処理学会平成9年前期全国大会. A280-286 (1997)

[Publications] E.Hussein 他: "Analysis of Detailed Patterns of Contour Shapes Using Wavelet Extrema" Int.Conference on Patlern Recognition. B335-339 (1996)

[Publications] 蔵田武士 他: "Feature Tracking on Occluding Boundaries for Modeling-by-videotaping" Int.Conference on Virtual Systems and Maltimedia. 123-128 (1996)

[Publications] 向川康博 他: "2枚の顔写真を用いた任意方向の顔画像の生成" 情報処理学会論文誌. 37・4. 635-644 (1996)

大田友一筑波大学, 電子情報工学系, 教授 (50115804)

[Publications] 中村裕一他: "Knowledge Extraction from Diagram and Text for Media Integration" Int.Conference on Multimedia and Communication Systems. 437-441 (1996)

[Publications] 中村裕一他: "Occlusion Detectable Stereo-Occlusion Patterus in Camera Matrix" IEEE Conference on Computer Vision and Pattern Recognition. 371-378 (1996)

[Publications] 蔵田武士他: "Feature Tracking on Occluding Boundaries for Modeling-by-videotaping" Int.Conference on Virtual Systems and Maltimedia. 123-128 (1996)

[Publications] 向川康博他: "2枚の顔写真を用いた任意方向の顔画像の生成" 情報処理学会論文誌. 37・4. 635-644 (1996)