料理映像を題材とするマルチメディア統合システムの構築とその応用

2002 Fiscal Year Annual Research Report

• Project/Area Number: 14380173
• Research Institution: The University of Tokyo
• Principal Investigator: 田中 英彦 東京大学, 大学院・情報理工学系研究科, 教授 (60011102)
• Co-Investigator(Kenkyū-buntansha): 浜田 玲子 東京大学, 大学院・情報理工学系研究科, 特別研究員 ; 井出 一郎 国立情報学研究所, ソフトウェア研究系, 助手 (10332157) ; 坂井 修一 東京大学, 大学院・情報理工学系研究科, 教授 (50291290)
• Keywords: 統合ディア処理 / 料理映像 / 画像処理 / 自然言語処理

Research Abstract

本研究は、(1)料理映像を題材としたマルチメディア統合処理システムの提案、システム各部の設計・実装、(2)統合処理部分の実装とシステムの完成および評価また本システムの応用アプリケーションの検討という流れですすめている。初年度にあたる本年度には、(1)の統合処理システムの提案、特に映像処理部各部の設計と実装を行なった。
我々はまず、テキストの構造解析手法により、調理手順の順序構造を抽出した。この手法では、対象に固有の辞書を作成・利用し、さらに構文の解析を行なうことによって高精度でテキストの自動構造解析を実現した。
また、映像からは個々の映像区間や全体の構成に関する特徴を抽出する手法を提案・実装し、評価を行なった。ここで我々は、様々な角度から映像構造を解析するため、2つの映像解析手法を提案した。一つは映像中の動きに着目した手法、もう一つは映像の背景部分に着目した手法である。動きに着目した映像構造解析手法では、料理映像においては画面中の手などの動きが重要であるという考えに基づき、映像の重要部分を「動き部分」「静止部分」に分類した。そして、画面全体の動きの大きさを利用してこれらの重要部分の抽出を行い、映像構造を解析した。また、背景を利用した研究では、手元が動作を行なう背景によって動作の種類が大まかに分類できることに着目し、色情報を利用して背景の識別を行なう手法を提案した。この手法においては、学習により画面中における「背景部分」を自動抽出する手法をあわせて実現した。いずれの手法も、評価実験により高精度にて実現できることが示された。
さらに、現段階で実現可能な応用アプリケーションとして自動要約手法を検討し、実装・評価を行った。

Research Products

• [Publications] K.Miura, R.Hamada, I.Ide, S.Sakai, H.Tanaka: "Motion based automatic abstraction of cooking videos"Proc. ACM Multimedia 2002 Workshop on Multimedia Information Retrieval. 29-32 (2002)
• [Publications] 浜田玲子, 三浦宏一, 井出一郎, 佐藤真一, 坂井修一, 田中英彦: "動きに基づく料理映像の自動要約手法"画像の認識・理解シンポジウム(MIRU2002)論文集. Vol.2. 203-208 (2002)