2008 Fiscal Year Annual Research Report
セマンティックスとマルチモーダルに基づくハイライト抽出・要約・索引付け・検索
Project/Area Number |
07F07079
|
Research Institution | Osaka University |
Principal Investigator |
馬場口 登 Osaka University, 大学院・工学研究科, 教授
|
Co-Investigator(Kenkyū-buntansha) |
DAO Son Minh 大阪大学, 大学院・工学研究科, 外国人特別研究員
|
Keywords | 映像処理 / セマンティックス / マルチモーダル / 映像要約 / 映像インデクシング / イベント検出 |
Research Abstract |
本研究では、マルチメディアコンテンツから自動的にセマンティクスを抽出するために、知識処理、セマンティクス処理、および低レベルのマルチメディア処理などを統合するアプローチを実現することを目的とする。具体的には、スポーツ放送映像を取り上げ、統合アプローチにより得られたセマンティクス、およびマルチモーダル情報を用いることで、ハイライト抽出や要約、索引付け、検索を効率的に実行するアルゴリズムを提案した。テーマごとの成果を示す。 1.低レベル特徴抽出 選手や審判、ボールなどのオブジェクトはスポーツ映像において重要な役割を担う。そこで高精度な認識・追跡手法を考案し、低レベル特徴の一つとしてオブジェクトを抽出する。この結果とキーフレームの特徴、Webキャストテキストからの特徴との統合により、スポーツ映像の高レベルな概念であるイベントモデルを構築し、構築したモデルを用いたイベント検出を具体化した。 2.時空間パターン推定 これまでに抽出した複数の低レベル特徴ストリームに対し、データマイニング技術の利用により、時間長の可変なイベントの表現となるパターンを推定する手法を考案した。特に、時空間パターンマイニング技術がスポーツ映像のイベントのような時空間特徴に対するパターン推定に適していることを実験的に検証した。 3.閲覧,インデキシング,検索 上記のイベント検出の結果を用いた閲覧、インデキシング、検索システムの基本設計を行った。
|
Research Products
(2 results)