| Research Abstract |
本研究では,典型的な非テキスト情報である静止画像-特に単語で内容説明(アノテーション)が付けられた画像-をテキストで問い合わせるクロスメディア検索を対象とし,問い合わせと画像とを対応付ける検索モデルを開発している.中心的課題は検索モデル自動構築の際のデータが疎であることであり,複数メディアの組み合わせによりデータを保管するアルゴリズムにより,このボトルネックの解消を目指している.
昨年度は,問い合わせの言語と異なる単一多言語のコレクションを検索する単言語クロスメディア検索モデルを,言語横断検索の枠組みの中で活用する可能性について検討した.今年度は,検索の対象をこれまでのような単一異言語コレクションと想定するのではなく,複数の言語が混在するようなコレクションに対する検索,すなわちマルチリンガルクロスメディア検索を想定して,検索手法の開発を行った.
具体的には以下のとおりである.まず,問い合わせと異なる言語でアノテーションが付加された画像全てを,アノテーションが欠落した画像とみなす.そして,検索対象となる異言語混在画像全てを,画像の視覚的情報のみに基づきクラスタリングする.次に,問い合わせと同一言語でのアノテーションを持つ画像のみを対象にしてテキストに基づいた単言語検索を行う.最後に,既に行った視覚的クラスタリングの結果を元に,異なる言語でアノテーションが付与された画像を,単一言語に基づくランキング結果の中に挿入する.これは,原ランキング上位の画像と同一クラスターに所属する画像を同位置に配置することにより,新たなランキングを作り出すという,再ランキング事後処理である.けっかとして,テキスト情報の不足を補うために画像情報を,前処理及び後処理において使用することになる.このように,複数情報源を処理の異なる段階で使用するという点で,既存の複数情報源を検索の際に一括して使用する手法に比べ,高い柔軟性を実現した.
実験により,提案手法ではトピック依存性(問い合わせの主題により性能が変化する)傾向が顕著であることがわかった.本年度は,この問題への対処方法の検討と,ノイズの除去を中心とした検索プロセスを進める予定である.
|
