1995 Fiscal Year Annual Research Report

視覚情報と言語情報の統合によるプレゼンテーションの自動認識に関する研究

Research Project

Project/Area Number	06452396
Research Institution	University of Tsukuba
Principal Investigator	大田友一筑波大学, 電子情報工学系, 教授 (50115804)
Co-Investigator(Kenkyū-buntansha)	中村裕一筑波大学, 電子情報工学系, 講師 (40227947)
Keywords	人物行動理解 / 映像の構造化 / 動作と発話の関係 / 自然言語処理 / 画像理解 / メディアの統合 / ヒューマンインタフェース / プレゼンテーション
Research Abstract	本研究では,人間や計算機とのコミュニケーションにおける視覚情報と言語情報を,統合的に解析し,それを用いる手法について研究を行った.特に,プレゼンテーションにおける送り手側の意図,及びそれを認識するための種々の要因について調査を行い,それを自動的に特定するための基本的な手法を提案した. 1.プレゼンテーション映像における話者の動作認識に関する研究:プレゼンテーションを記録した映像から,人物の動作やジェスチャの解析を行い,視覚的イベントとして抽出する方法;言語情報を解析し,指示語や形状を表現する語など,視覚的イベントと密接に関連する言語現象を抽出する方法;時間スケール上でのタイミングを考慮して,両者を対応づけ,視覚的イベントの意味解釈を行う方法について研究し,新しい手法を提案した. 2.画像処理・音声処理を用いた映像データの時間的構造化に関する研究:大量に保存されている映像データを自動的に構造化し,検索や再利用可能なデータとして蓄積する基礎研究を行った.この研究では特に,短い時間にわかりやすい主張が込められているコマーシャル映像を題材にし,その意味的な構造化手法を提案した. 3.図的情報(パターン情報)と自然言語情報の統合によるメディア理解と説明の生成:これまでただ単に混在して提示されることの多かった図的メディアとテキストのような自然言語情報を自動的に関係付けるための研究を行った.これにより,双方のメディアの持つ情報を相補的に用い,片方のメディアでは解釈の難しい事項を簡単に処理できることを明らかにした.また,その結果から自動的にハイパーメディアを構築する手法を提案した. 4.関連研究(新しいコミュニケーション手段を構築するための基礎的研究):従来から,種々のコミュニケーションで必要となる顔画像の扱いについて,簡便かつ十分な質を持った画像を生成する方法を提案した.

Research Products
(6 results)

All Other

All Publications (6 results)

[Publications] 中村裕一: "プレゼンテーション映像における話者の行動理解" 信学技報パターン認識・理解. 95-143. 51-56 (1995)
[Publications] 上堀幸代: "画像特徴を音響特徴を利用したCM映像の自動的構造化手法" 信学技報パターン認識・理解. 95-159. 9-12 (1995)
[Publications] 向川康博: "Synthesis of Arbitrarily Oriented Face Views from Two Images" Asian Conference on Computer Vision,Singapore. 3. 718-722 (1995)
[Publications] 角保志: "Detection of Face Orientation and Facial Components Using Distributed Appearance Model" Int. Workshop on Automatic Face-and Gesture Recognition. 254-259 (1995)
[Publications] 中村裕一: "Knowledge Extraction from Diagram and Text for Media Integration" Proc. Int. Conference on Multimedia Computing and Systems. (to be published). (1996)
[Publications] 中村裕一: "認識と生成を双方向に行なうための多重解像度表現-ウェーブレット極値による形状生成/編集-" 信学技報パターン認識・理解. 95-172. 39-46 (1995)

1995 Fiscal Year Annual Research Report

視覚情報と言語情報の統合によるプレゼンテーションの自動認識に関する研究

Principal Investigator

大田 友一 筑波大学, 電子情報工学系, 教授 (50115804)

Research Products

[Publications] 中村 裕一: "プレゼンテーション映像における話者の行動理解" 信学技報 パターン認識・理解. 95-143. 51-56 (1995)

[Publications] 上堀 幸代: "画像特徴を音響特徴を利用したCM映像の自動的構造化手法" 信学技報 パターン認識・理解. 95-159. 9-12 (1995)

[Publications] 向川 康博: "Synthesis of Arbitrarily Oriented Face Views from Two Images" Asian Conference on Computer Vision,Singapore. 3. 718-722 (1995)

[Publications] 角 保志: "Detection of Face Orientation and Facial Components Using Distributed Appearance Model" Int. Workshop on Automatic Face-and Gesture Recognition. 254-259 (1995)

[Publications] 中村 裕一: "Knowledge Extraction from Diagram and Text for Media Integration" Proc. Int. Conference on Multimedia Computing and Systems. (to be published). (1996)

[Publications] 中村 裕一: "認識と生成を双方向に行なうための多重解像度表現-ウェーブレット極値による形状生成/編集-" 信学技報 パターン認識・理解. 95-172. 39-46 (1995)

大田友一筑波大学, 電子情報工学系, 教授 (50115804)

[Publications] 中村裕一: "プレゼンテーション映像における話者の行動理解" 信学技報パターン認識・理解. 95-143. 51-56 (1995)

[Publications] 上堀幸代: "画像特徴を音響特徴を利用したCM映像の自動的構造化手法" 信学技報パターン認識・理解. 95-159. 9-12 (1995)

[Publications] 向川康博: "Synthesis of Arbitrarily Oriented Face Views from Two Images" Asian Conference on Computer Vision,Singapore. 3. 718-722 (1995)

[Publications] 角保志: "Detection of Face Orientation and Facial Components Using Distributed Appearance Model" Int. Workshop on Automatic Face-and Gesture Recognition. 254-259 (1995)

[Publications] 中村裕一: "Knowledge Extraction from Diagram and Text for Media Integration" Proc. Int. Conference on Multimedia Computing and Systems. (to be published). (1996)

[Publications] 中村裕一: "認識と生成を双方向に行なうための多重解像度表現-ウェーブレット極値による形状生成/編集-" 信学技報パターン認識・理解. 95-172. 39-46 (1995)