2004 Fiscal Year Annual Research Report
視覚情報とテキスト情報とを統合した映像検索のための映像シソーラスの構築
| Project/Area Number |
16016289
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
佐藤 真一 国立情報学研究所, 情報メディア研究系, 教授 (90249938)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
孟 洋 国立情報学研究所, ソフトウェア研究系, 助手 (60312203)
加藤 弘之 国立情報学研究所, ソフトウェア研究系, 助手 (10321580)
井手 一郎 名古屋大学, 大学院・情報科学研究科, 助教授 (10332157)
|
|---|
| Keywords | 映像インデクシング / 映像マイニング / 映像シソーラス / トピック追跡 / マルチモーダル解析 |
|---|
| Research Abstract |
本研究では、映像が内在する視覚情報とテキスト情報とを統合した映像検索を実現するための映像シソーラスについて検討する。映像シソーラスにより、テキストと視覚情報の関連性、両者に基づく概念や範疇などの上位構造などが表現され、テキスト・視覚情報を交差する検索(テキストによる視覚情報の検索等)、視覚情報に対するテキストキーワードの自動生成、テキスト・視覚情報の関連による上位概念の発見、テキストに対応した視覚情報を用いた画像認識手法による物体検出オントロジーの実現等が期待される。映像シソーラスの構築においては、実際の放送映像の大規模な映像アーカイブを利用した統計的な手法による自動構築法の実現を予定しており、ドメインを限らない一般の映像にも適用可能で、ロバストな手法の実現を目指す.
平成16年度は、映像の視覚情報については、大規模放送映像アーカイブに対し映像断片照合を適用し、頻出する映像断片を映像キーワードとして抽出した。同時に、テキスト情報については、ニュース映像の文字字幕放送に対しトピックの切り出し及びニュース映像アーカイブ中でのトピック構造の解析を行った。これらの結果を受けて、それらの共起関係に基づき、初期的な映像シソーラス構築に向けて、トピックに対するキーショットの抽出を行った。また、物体レベルの映像キーワードの抽出に向けて、映像中の顔の高速検出手法について検討を行った。
|
