2003 Fiscal Year Annual Research Report

質問に対して適切な画像・映像を使って答えることのできる知的メディアの構築

Research Project

Project/Area Number	13480087
Research Institution	University of Tsukuba
Principal Investigator	中村裕一筑波大学, 機能工学系, 助教授 (40227947)
Co-Investigator(Kenkyū-buntansha)	向川康博筑波大学, 機能工学系, 講師 (60294435) 黒橋禎夫東京大学, 大学院・情報理工学研究科, 助教授 (50263108)
Keywords	マルチメディア / 映像メディア / 対話的メディア / 映像処理 / 自然言語処理 / コミュニケーション / 知的撮影 / 自動編集
Research Abstract	対話的な映像メディアを実現するためには,映像取得から提示までを一貫して扱う知的システムを構築することが必要である.本年度は最終年度であるため,研究期間のまとめとして報告する.具体的には,3年間で以下の項目について研究を行い,順調に成果が得られた. (a)映像の自動撮影と自動インデキシングを統合的に行うことが可能であることを示し,対話型映像メディアの自動取得の可能性を示した.具体的には,作業中に出てくる物体や,それらの物体になされる操作を検出するために複数の画像センサを用いる手法を提案した. (b)料理番組などの放送映像に対して,それを対話的に利用するための自動インデキシング手法の提案をし,大規模な会話型コンテンツを取得するための可能性を示した. (c)質問に答えることのできる映像メディアを実現するためのプロトタイプの構築をし,ユーザの簡単な質問に対して答えとなるデータを検索しながら,種々の応答を行う手法「QUEVICO」を提案した.この新しい枠組みはマルチモーダルデータのインデキシングと編集を「質問と答」の観点から行うモデルであり,30種程度の質問に対して,複数のモダリティを有効に利用してユーザに答えることができる. (d)映像メディアのより柔軟な提示を行うための映像編集技術,映像要約技術の提案をし,その有効性を示した.具体的には,制約充足と組み合わせ最適化による編集モデルを提案し,会話シーンに対してその有効性を確かめた.また,映像は時間軸を持ったストリーム形のメディアであるため,冗長性が高く,一覧性が悪いことが問題となっている.この問題に対して,我々は,映像の構造を図化する新しい手法,ビデオアイコンダイアグラムを提案した.

Research Products

(6 results)

All Other

All Publications (6 results)

[Publications] 伊藤, 尾関, 中村, 大田: "Simple and Robust Tracking of hands and objects for Video-based Multimedia Production"Proc. IEE Conference on Multisensor Fusion and Integration for Intelligent Systems. 252-257 (2003)
[Publications] 尾関, 伊津野, 伊藤, 中村, 大田: "Object Tracking and Task Recognition for Producing Interactive Video Content---Semi-automatic indexing for QUEVICO"Proc. Int'l Conference on Knowledge-Based Intelligent Information & Engineering Systems. 1044-1053 (2003)
[Publications] 伊津野, 中村, 大田: "QUEVICO QA Model for Video-based Interactive Media"Proc. Int'l Workshop on Content-Based Multimedia Indexing. 413-420 (2003)
[Publications] 尾関, 中村, 大田: "机上作業シーンの自動撮影のためのカメラワーク"電子情報通信学会論文誌. DII-J86-11. 1606-1617 (2003)
[Publications] 尾形, 中村, 大田: "Computational Video Editing Model based on Optimization with Constraint Satisfaction"Proc. Pacific-Rim Conference on Multimedia. 2A1-2 (2003)
[Publications] 尾関, 伊藤, 里, 中村, 大田: "複合コミュニティ空間における注目の共有〜注目誘導行動による物体への注釈付け〜"日本バーチャルリアリティ学界論文誌. 8・4. 369-377 (2003)

2003 Fiscal Year Annual Research Report

質問に対して適切な画像・映像を使って答えることのできる知的メディアの構築

Principal Investigator

中村 裕一 筑波大学, 機能工学系, 助教授 (40227947)

Research Products

[Publications] 伊藤, 尾関, 中村, 大田: "Simple and Robust Tracking of hands and objects for Video-based Multimedia Production"Proc. IEE Conference on Multisensor Fusion and Integration for Intelligent Systems. 252-257 (2003)

[Publications] 尾関, 伊津野, 伊藤, 中村, 大田: "Object Tracking and Task Recognition for Producing Interactive Video Content---Semi-automatic indexing for QUEVICO"Proc. Int'l Conference on Knowledge-Based Intelligent Information & Engineering Systems. 1044-1053 (2003)

[Publications] 伊津野, 中村, 大田: "QUEVICO QA Model for Video-based Interactive Media"Proc. Int'l Workshop on Content-Based Multimedia Indexing. 413-420 (2003)

[Publications] 尾関, 中村, 大田: "机上作業シーンの自動撮影のためのカメラワーク"電子情報通信学会論文誌. DII-J86-11. 1606-1617 (2003)

[Publications] 尾形, 中村, 大田: "Computational Video Editing Model based on Optimization with Constraint Satisfaction"Proc. Pacific-Rim Conference on Multimedia. 2A1-2 (2003)

[Publications] 尾関, 伊藤, 里, 中村, 大田: "複合コミュニティ空間における注目の共有〜注目誘導行動による物体への注釈付け〜"日本バーチャルリアリティ学界論文誌. 8・4. 369-377 (2003)

中村裕一筑波大学, 機能工学系, 助教授 (40227947)