2002 Fiscal Year Annual Research Report

質問に対して適切な画像・映像を使って答えることのできる知的メディアの構築

Research Project

Project/Area Number	13480087
Research Institution	University of Tsukuba
Principal Investigator	中村裕一筑波大学, 機能工学系, 助教授 (40227947)
Co-Investigator(Kenkyū-buntansha)	北原格筑波大学, 機能工学系, 助手 (70323277) 黒橋禎夫東京大学, 大学院・情報理工学研究科, 助教授 (50263108)
Keywords	マルチメディア / 映像メディア / 対話的メディア / 映像処理 / 自然言語処理 / コミュニケーション / 知的撮影 / 自動編集
Research Abstract	対話的な映像メディアを実現するためには,映像取得から提示までを一貫して扱う知的システムを構築することが必要である.そのために,本年度は以下の項目について研究を行い,順調に成果が得られた. (1)対話的映像メディアのためのQAモデル本研究の目的は,映像のように複数のモダリティを持つメディアをデータとして用いることでユーザの質問に適切な答を与えてくれる新たなメディアを創造することにある.従来から自然言語による知的ヘルプシステムや質問応答システムに関する研究は数多く報告されてきたが,マルチモーダルデータの扱いには特有の問題があり,それらの手法を単純に適用することはできない.そのため,我々は新しい枠組み「QUEVICO」を提案した.QUEVICOはマルチモーダルデータのインデキシングと編集を「質問と答」の観点から行うモデルであり,30種程度の質問に対して,複数のモダリティを有効に利用してユーザに答えることができる. (2)画像処理,動作認識を用いた映像インデキシング対話的映像メディアが十分に機能するためには,十分にインデックスの付いた映像データが必要となる.そのため本研究では,撮影の時点から映像と共にその内容に関するインデックスを自動的に取得する映像取得システムを構築している.今年度は,作業中に出てくる物体や,それらの物体になされる操作を検出するために複数の画像センサを用いる手法を提案した.この手法では,物体に関する事前知識を用いることなしに,実時間でロバストな物体検出と追跡が可能である.また,話者の動作を認識し,物体に関する説明が与えられたことを検出することによって,物体の外観,位置,付加された注釈情報などを関連付けて映像へのインデキシングを行うことが可能である.

Research Products

(7 results)

All Other

All Publications (7 results)

[Publications] 尾関, 中村, 大田: "Human Behavior Recognition System for Intelligent Video Production System"Proc.Pacific-Rim Conference on Multimedia. 1153-1160 (2002)
[Publications] 久保田, 中村, 大田: "Detecting Scenes of Attention from Personal View Records"Proc.IAPR Workshop on Machine Vision and Applications. 209-213 (2002)
[Publications] 村山, 中村, 大田: "Flexible Diagram Generation from Tagged Texts"Proc.Sixth Int'l Conference on Knowledge-Based Intelligent information & Engineering Systems. 582-587 (2002)
[Publications] 伊津野, 中村, 大田: "QUEVICO : A Framework for Video-based Interactive Media"Int'l Workshop on Intelligent Media Technology for Communicative Reality. 6-11 (2002)
[Publications] 尾関, 伊藤, 中村, 大田: "Tracking Hands and Objects for an Intelligent Video Production System"Proc.IAPR Int'l Conference on Pattern Recognition. 1011-1015 (2002)
[Publications] 村山, 中村, 大田: "DocScape:文章の概覧性を高めるための概念図の生成と利用"情報処理学会論文誌. 44・4(掲載予定). (2003)
[Publications] 中村, 尾関, 大田: "An Intelligent System for Capturing Presentations on Desktop Manipulations 10章,書名「Virtual Enviroments for Teaching and Learning」"World Scientific Publishing Company. 31 (2002)

2002 Fiscal Year Annual Research Report

質問に対して適切な画像・映像を使って答えることのできる知的メディアの構築

Principal Investigator

中村 裕一 筑波大学, 機能工学系, 助教授 (40227947)

Research Products

[Publications] 尾関, 中村, 大田: "Human Behavior Recognition System for Intelligent Video Production System"Proc.Pacific-Rim Conference on Multimedia. 1153-1160 (2002)

[Publications] 久保田, 中村, 大田: "Detecting Scenes of Attention from Personal View Records"Proc.IAPR Workshop on Machine Vision and Applications. 209-213 (2002)

[Publications] 村山, 中村, 大田: "Flexible Diagram Generation from Tagged Texts"Proc.Sixth Int'l Conference on Knowledge-Based Intelligent information & Engineering Systems. 582-587 (2002)

[Publications] 伊津野, 中村, 大田: "QUEVICO : A Framework for Video-based Interactive Media"Int'l Workshop on Intelligent Media Technology for Communicative Reality. 6-11 (2002)

[Publications] 尾関, 伊藤, 中村, 大田: "Tracking Hands and Objects for an Intelligent Video Production System"Proc.IAPR Int'l Conference on Pattern Recognition. 1011-1015 (2002)

[Publications] 村山, 中村, 大田: "DocScape:文章の概覧性を高めるための概念図の生成と利用"情報処理学会論文誌. 44・4(掲載予定). (2003)

[Publications] 中村, 尾関, 大田: "An Intelligent System for Capturing Presentations on Desktop Manipulations 10章,書名「Virtual Enviroments for Teaching and Learning」"World Scientific Publishing Company. 31 (2002)

中村裕一筑波大学, 機能工学系, 助教授 (40227947)