2012 Fiscal Year Research-status Report
音響と映像の共通インデックスに基づく音響・映像の高度検索技術・双方向検索システム
| Project/Area Number |
24500124
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | Iwate Prefectural University |
|---|
Principal Investigator |
伊藤 慶明 岩手県立大学, ソフトウェア情報学部, 教授 (90325928)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大川 茂樹 千葉工業大学, 工学部, 教授 (40306395)
田中 和世 筑波大学, 図書館情報メディア研究科(系), 教授 (70344207)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | 音声ドキュメント処理 / 検索 / 音響情報 / 映像情報 |
|---|
| Research Abstract |
近年ビデオを録画する際の機器が大容量化・普及し、今後は一週間の放送全てを録画しておき、見たい／聞きたい部分を検索・抽出して所望の区間のみを鑑賞するというようなライフスタイルに変化し、容易かつ自由なビデオの検索機能が望まれるようになった。そこで、本研究では音声を中心とした音響情報と映像上情報を共通のインデックス化し，相互に情報を利用することによって高度な検索技術、映像と音響の双方向の検索を実現する技術開発を目的としている。本研究は以下の４つ要素技術の研究開発をベースとしている。
(1)音響・音声情報のインデキシング方式の研究開発
(2)映像・音響情報を利用した類似動画検索方式の研究開発
(3)ＷＥＢ上の情報・知識源を利用した映像情報のインデキシング方式の研究開発
(4)高度・双方向検索のための構造化インデクスの研究開発
平成２４年度は主に、この研究のうち(1)音響・音声情報のインデキシング方式の研究開発技術の研究を推進し，音声ドキュメントの検索技術の開発を行い、音声認識システムの辞書に存在しない検索単語の検索を実現する技術開発を行った。また、あらゆる２音節で事前に検索し、それをインデキシングすることによりこの音声ドキュメント検索技術の高速化を実現した。音声ドキュメント検索の研究を評価する上では、研究者が共通で利用できるテストコレクション（検索語，評価用のデータ，正解等）が必要であるため、情報処理学会・音声言語処理研究会の音声ドキュメント処理ワーキンググループのもとで音声ドキュメント検索用と音声中の検索語検出のためのテストコレクションを構築し研究者・企業に公開した。これにより多くの研究者が音声ドキュメント処理の研究に参加するようになり，研究の活性化・推進に大きな貢献を果たした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
前述したように本研究は以下の４つサブテーマについての研究開発をベースとしている。
(1)音響・音声情報のインデキシング方式の研究開発
(2)映像・音響情報を利用した類似動画検索方式の研究開発
(3)ＷＥＢ上の情報・知識源を利用した映像情報のインデキシング方式の研究開発
(4)高度・双方向検索のための構造化インデクスの研究開発
平成２４年度の予定では、これらの研究要素のうち(1)音響・音声情報のインデキシング方式の研究開発技術の研究を推進することを予定していた。平成２４年度は予定通り、音声情報を中心とした検索技術の開発を行い、音声情報のインデキシング技術の実現を果たした。既に平成２４年度には映像情報の検索技術の研究にも着手を開始した段階であり、当初の予定通りの達成度状況であると言える。
|
| Strategy for Future Research Activity |
平成25年度以降は、前述した4つのサブテーマについて下記のように(1)～(3)のサブテーマを中心に研究開発を実施する。
(1)平成25年度からは、実際のTV放送プログラムに対して、生活音に対してはその種別識別、音声に対してはキーワード抽出、音楽に対してはジャンル分類と曲識別方式の研究開発を推進する。これにより高精度なインデキシング方式を実現する。ここでの高精度とは７割以上の識別精度、キーワード抽出精度を目標とする。
(2)平成25年度からは、24年度着手した技術をベースとしてTRECVIDのデータ等を用いて実証実験を行い、高精度高速な類似動画の照合技術の開発を進める。
(3)動画像と動画像、静止画像と動画像の類似検索技術の開発を推進する。画像での照合が難しい場合には、(1)より得られた音声情報からの得られるキーワード情報と動画に付加されたテキスト情報の利用も検討する。
本テーマを実際のシステムとして実現するため、平成25年度から、共通の構造化インデクスを用いたプロトタイプシステムを開発に着手する。25年度はテキスト検索要求から、音声情報を用いたビデオ区間検索、および映像による照合ベースの検索システムの設計を行う。
|
| Expenditure Plans for the Next FY Research Funding |
平成２４年度に１２０万円の直接費用のうち、81,194円を残した。平成２５年度は、音響情報の検索技術の開発、映像情報の検索技術の開発を並行して行う。これらを並行して研究開発を行うため、それぞれについての研究開発用のマシンを購入する予定である。
|
