料理映像を題材とするマルチメディア統合システムの構築とその応用

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14380173
• Research Institution: The University of Tokyo
• Principal Investigator: 田中 英彦 東京大学, 大学院・情報理工学系研究科, 教授 (60011102)
• Co-Investigator(Kenkyū-buntansha): 浜田 玲子 東京大学, 大学院・情報理工学系研究科, リサーチフェロー ; 井手 一郎 国立情報学研究所, ソフトウェア研究系, 助手 (10332157) ; 坂井 修一 東京大学, 大学院・情報理工学系研究科, 教授 (50291290)
• Keywords: 統合ディア処理 / 料理映像 / 画像処理 / 自然言語処理

Research Abstract

本研究は、(1)料理映像を題材としたマルチメディア統合処理システムの提案、システム各部の設計・実装、(2)統合処理部分の実装とシステムの完成および評価、また本システムの応用アプリケーションの検討という流れですすめている。最終年度にあたる本年度には、統合処理システムの完成および応用アプリケーションの検討を行なった。
我々は統合処理部分として、調理順序、背景認識結果、そして音声内容の3種類の情報を統合的に利用する統合処理手法を提案した。
本手法ではテキスト処理によって抽出されたテキストのツリー構造と、映像における線形な順序構造を対応づける必要がある。本研究ではまずこれまでに開発したテキスト処理および映像処理技術を利用して、テキストをブロックに、映像をシーンにと大まかに分割する。そして映像における背景の構成、クローズドキャプションとテキストの共通単語数、手順の順序構造という3つの情報を統合してブロックとシーンの対応付けを行なった。評価実験の結果、番組によって精度の差があるものの80%前後の精度で対応付けを実現した。ここから、動きの大きさの解析結果を利用することで動作単位の細かい索引までつけることが可能となる。
さらに、簡単に実現可能なアプリケーション例として、自動要約手法を実装、評価を行なった。
本研究では料理映像を題材として索引付けのためのテキストと映像の対応付けシステムの構築を行なったが、これにより、対象を限定してテキスト情報を活用した統合処理を行なうことで、有用な索引付けシステムの構築が可能であることを示した。

Research Products

• [Publications] 三浦宏一, 高野 求, 浜田玲子, 井手一郎, 坂井修一, 田中英彦: "料理映像の構造解析による調理手順との対応付け"電子情報通信学会論文誌. J86-D-II, no.11. 1647-1656 (2003)
• [Publications] Koichi Miura, Reiko Hamada, Ichiro Ide, Shuichi Sakai, Hidehiko Tanaka: "Associating cooking video segments with preparation steps"proc.Image and Video Retrieval -Second Intl.Conf.CIVR2003, Lecture Notes in Computer Science. vol.2728. 174-183 (2003)
• [Publications] 三浦宏一, 浜田玲子, 井手一郎, 坂井修一, 田中英彦: "動きに基づく料理映像の自動要約"情報処理学会コンピュータビジョンとイメージメディア研究会論文誌. vol.44, no.SIG9. 21-29 (2003)
• [Publications] 高野 求, 三浦宏一, 浜田玲子, 坂井修一, 田中英彦: "テキストからの制約に基づく料理画像中の物体検出"第65回情報処理学会全国大会講演論文集. vol.2. 255-256 (2003)
• [Publications] 唐澤隆, 浜田玲子, 井手一郎, 坂井修一, 田中英彦: "料理教材テキストからの素材と調理法に関する知識の抽出"第66回情報処理学会全国大会講演論文集. vol.2. 119-120 (2004)