2005 Fiscal Year Annual Research Report
音声・音楽情報を利用したビデオデータの自動構造化と検索技術研究
| Project/Area Number |
17500073
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | Iwate Prefectural University |
|---|
Principal Investigator |
伊藤 慶明 岩手県立大学, ソフトウェア情報学部, 助教授 (90325928)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大川 茂樹 千葉工業大学, 情報科学部, 助教授 (40306395)
小嶋 和徳 岩手県立大学, ソフトウェア情報学部, 助手 (60305307)
|
|---|
| Keywords | 検索 / ビデオデータ / 構造化 / セグメンテーション / 音声検索 / 音楽 / 音響特徴 |
|---|
| Research Abstract |
本研究では、ビデオ情報の局所的な特徴、大局的な特徴・分類手法を研究・開発し、ビデオデータ内の自動的なセグメンテーションを第1の目的とし、さらに、セグメンテーションされたクリップ(ビデオのあるまとまった部分区間)同士の局所的・大局的類似性等を利用し、ビデオデータの自動的な構造化を目指すものである。本年度(〜平成18年3月31日)の研究では、まず、音響的な局所的特徴や大局的特徴の研究開発を中心に推進した。音声区間、音楽区間それぞれの判定を行う上で適切な局所的特徴パラメータについて性能比較実験を通して評価し、MFCCおよびクロマベクトル、およびSinusoidal Segmentの利用可能性を確認した。また、これらの局所パラメータを用い、同一楽曲内の同一フレーズや、音声区間内の繰り返される同一言葉等、大局的特徴を抽出する方法としてセグメンタル連続DP法を開発し、その動作を確認するとともに、音声区間と音楽区間のセグメンテーションの自動化を図った。さらに、音声区間が抽出されたものとして、音声区間に対する、音声検索手法についての研究を推進し、新しいサブワードモデルを導入することによって、辞書に依存しない自由な音声検索システムのプロトタイプを実現した。今後は、今年度有効性を確認した音響的な局所的特徴や大局的特徴の抽出方式の深化を目指すと共に、音楽・音声判定方式の高性能化、音声検索の高精度化、および利用者が検索・利用しやすいデータの構造化方式について分析・調査を推進する。この研究のベースとなる音声・音楽等で構成されたビデオデータの整備を行う必要があり、既存のビデオデータ、利用可能なビデオデータの調査、およびビデオデータの構築・公開に関する環境整備について検討していく予定である。
|
Research Products
(17 results)
