2007 Fiscal Year Annual Research Report
セマンティックスとマルチモーダルに基づくハイライド抽出・要約・索引付け・検索
Project/Area Number |
07F07079
|
Research Institution | Osaka University |
Principal Investigator |
馬場口 登 Osaka University, 大学院・工学研究科, 教授
|
Co-Investigator(Kenkyū-buntansha) |
DAO Son Minh 大阪大学, 大学院・工学研究科, 外国人特別研究員
|
Keywords | 映像処理 / セマンティックス / マルチモーダル / 映像要約 / 映像インデクシング / 映像検索 |
Research Abstract |
日々生産され続ける膨大なマルチメディア情報からセマンティクス(意味情報)を自動的に獲得することは、マルチメディアシステムの高機能化に向けて必須の課題である。特に、映像・映像、音声、テキストからなるマルチメディア情報が有する低レベルの特徴と、高レベルのセマンティクスや概念と対応付けることは容易ではないことが認識されている。 本研究では、マルチメディアコンテンツから自動的にセマンティクスを抽出するために、知識処理、セマンティクス処理、および低レベルのマルチメディア処理などを統合するアプローチを実現することを目的とする。具体的には、スポーツ放送映像を取り上げ、統合アプローチにより得られたセマンティクス、およびマルチモーダル情報を用いることで、ハイライト抽出や要約、索引付け、検索を効率的に実行するアルゴリズムを提案し、実験的検証を行う。 研究成果(H19年10月〜)は低レベルの知覚特徴の抽出アルゴリズム、具体的には、以下の映像、及びテキスト処理を具体化するアルゴリズムを検討し、実装した。 ・ショット、カメラの動き、キーフレームの検出 ・フィールド、選手の抽出 ・画面上に出現するグラフィックス、オーバーレイの検出と認識 ・ウェブにおける試合情報からのキーワード抽出(dtSearch-PC search package使用) こうした課題を解決するために有用な既存手法をサーベイし、問題解決に必要なテキスト解析ツールを整備するとともに、本研究の目的にかなう処理アルゴリズムを新たに開発した。
|