2006 Fiscal Year Annual Research Report
音声・音楽情報を利用したビデオデータの自動構造化と検索技術研究
| Project/Area Number |
17500073
|
|---|
| Research Institution | Iwate Prefectural University |
|---|
Principal Investigator |
伊藤 慶明 岩手県立大学, ソフトウェア情報学部, 准教授 (90325928)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大川 茂樹 千葉工業大学, 情報科学部, 准教授 (40306395)
小嶋 和徳 岩手県立大学, ソフトウェア情報学部, 助手 (60305307)
|
|---|
| Keywords | 検索 / ビデオデータ / 構造化 / セグメンテーション / 音声検索 / 音楽 / 音響特徴 |
|---|
| Research Abstract |
本研究では、ビデオ情報の局所的な特徴、大局的な特徴・分類手法を研究・開発し、ビデオデータ内の自動的なセグメンテーションを第1の目的とし、さらに、セグメンテーションされたクリップ(ビデオのあるまとまった部分区間)同士の局所的・大局的類似性等を利用し、ビデオデータの自動的な構造化を目指すものである。本年度(〜平成19年3月31日)の研究では、まずビデオデータを分析し,昨年度の研究から得られた音響的な局所的特徴と大局的特徴を用いて,音声区間、音楽区間それぞれの自動判定を行う方式の研究を遂行し,同一楽曲内で繰り返される大局的音響特徴と音楽・音声の局所的音響特徴により音声・音楽の自動セグメンテーション方式を開発した。さらに、抽出された音声区間に対して、テキストあるいは音声を用いて検索語を設定することによりビデオ中の音声データの検索を行う手法(音声検索手法)についての研究を推進した。音素よりもさらに細かくした半音素、1/3音素など従来にない新しいサブワードモデルを開発すると共に、サブワード間の音響的な類似度を導入することによって、辞書に依存しない自由かつ高精度な音声検索システムの研究開発を行った。評価実験を通して、新しいサブワードおよびサブワード間音響類似度の有効性を検証し,国内外の学会で研究発表を行った。今後は、ビデオのセグメンテーション技術の深化を目指すため、音楽・音声判定方式の高性能化、音声検索の高精度化、および利用者が検索・利用しやすいデータの構造化方式について分析・調査を推進する。
|
Research Products
(12 results)
