2013 Fiscal Year Research-status Report
音響と映像の共通インデックスに基づく音響・映像の高度検索技術・双方向検索システム
| Project/Area Number |
24500124
|
|---|
| Research Institution | Iwate Prefectural University |
|---|
Principal Investigator |
伊藤 慶明 岩手県立大学, ソフトウェア情報学部, 教授 (90325928)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大川 茂樹 千葉工業大学, 工学部, 教授 (40306395)
田中 和世 筑波大学, 図書館情報メディア研究科(系), 教授 (70344207)
|
|---|
| Keywords | 音声 / 映像 / インデックス / 検索 / 高速 / 高精度 |
|---|
| Research Abstract |
録画しておいた長大なビデオ群あるいはインターネット上の動画の中から見たい／聞きたい部分間のみを鑑賞したい、というニーズは増大している。ビデオ検索の際には、音や音声等の音響情報をもとに検索したい場合もあれば、映像情報をもとに検索したい場合も生じる。膨大なビデオ情報を、映像・音響情報について検索ができることが望ましい。そこで本研究では以下の4つのサブテーマについて研究開発を実施している。
(1)音響・音声情報のインデキシング方式 (2)映像・音響情報を利用した類似動画検索方式 (3)ＷＥＢ上の情報・知識源を利用した映像情報のインデキシング方式 (4)構造化インデクス
平成25年度は、4つのサブテーマのうち主に(1)～(2)について、下記のように研究開発を実施した。(1)実際の講演音声データに対して、音声中の検索語を高精度かつ高速に抽出方法として音節バイグラム事前検索方式を研究開発した。音声データをあらゆる音節バイグラムに対して事前に検索しておき、各音節バイグラムには事前検索結果として候補群を保持しておく。検索語が与えられると，検索語中の音節バイグラムの事前検索結果を参照し候補群を少数に決定する．これらの少数の候補群に対してのみ検索語との詳細照合を行うことで検索精度を低下させることなく，最終候補を高速にユーザへ提示できる方式を実現した．また、この最終候補に対してリランキングを行うことでさらに高精度な抽出が可能である方式の研究開発に成功した。これにより当初の目標であった７割以上の識別精度、キーワード抽出精度を達成できた。(2)映像データの高速検索方式として現在音声中の検索語検出における事前検索結果の応用方式の研究開発を進めている。画像の類似検索を実現するため、画像中の文字領域抽出技術の研究開発い、従来手法とし比べ高精度に画像中の文字領域の抽出が行えることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究では以下の4つのサブテーマについて研究開発を実施している。
（１）音響・音声情報のインデキシング方式の研究開発
（２）映像・音響情報を利用した類似動画検索方式の研究開発
（３）ＷＥＢ上の情報・知識源を利用した映像情報のインデキシング方式の研究開発
（４）高度・双方向検索のための構造化インデクスの研究開発
平成２５年度の予定では（１）～（３）までを中心に開発予定であった。実際には（１）の音響・音声情報のインデキシング方式の研究開発に関しての研究の進捗が大きく、音声情報のインデキシングの深化が主になされ、学術論文を採録されるレベルに至った（２）についてもこのため来手法とし比べ高精度に画像中の文字領域の抽出が行えることを確認でき、進捗としては十分であったが、（１）（２）に重点がいったため、（３）ＷＥＢ上の情報・知識源を利用した映像情報のインデキシング方式の研究開発については現在、研究開発を開始した段階であり、当初の予定より若干の遅れと考える。
|
| Strategy for Future Research Activity |
平成２６年度は最終年度であり、以下の（１）～（４）の４つのサブテーマについて並行してバランスよく研究開発を実施する予定である。なお、映像については研究開発の進捗を考え、まずは静止画を中心として進めていく。
（１）実際の音声や生活音に対して、その種別識別をし音声に対してはキーワードの高速な抽出できる方式の研究開発を推進する。これにより高精度なインデキシング方式を実現する。平成２５年度は７割の検索精度を達成したので、検索精度および検索速度においてさらに１割以上の高精度化、高速化の実現を目標とする。
（２）現在、Particle Swarm Optimization for Template Matchingという手法をベースに高精度高速な類似動画の照合技術を開発を進めている。この方式の研究開発を進め、高速高精度な類似画像検索技術を実現する
（３）画像から得られる特徴量と音声から得られる特徴量からテキスト情報を抽出しアノテーションとしての利用方式の検討を進める。
（４）テキストで与えた検索要求に対し、音響，映像を検索方式の高精度化を図るとともに、双方向性を考慮した検索方式を開発する。
本テーマを実際のシステムとして実現するため、共通の構造化インデクスを用いたプロトタイプシステムを開発する。
|
| Expenditure Plans for the Next FY Research Funding |
平成２６年度は最終年度であるため、プロトタイプシステムの稼動マシン用が必要であるためと成果発表回数が増加するため。
プロトタイプシステムの稼動マシン購入費の一部負担と成果発表費用として使用する計画。
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Overview of the NTCIR-10 SpokenDoc-2 Task2013
Author(s)
Tomoyosi Akiba, Hiromitsu Nishizaki, Kiyoaki Aikawa, Xinhui Hu, Yoshiaki Itoh, Tatsuya Kawahara, Seiichi Nakagawa, Hiroaki Nanjo and Yoichi Yamashita
Organizer
NTCIR-10
Place of Presentation
国立情報学研究所
Year and Date
20130618-20130621
Invited
