2012 Fiscal Year Research-status Report
類似画像検索のための類似度測度と再帰的ランキング手法の開発
| Project/Area Number |
24500126
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | Osaka City University |
|---|
Principal Investigator |
THITHI Zin 大阪市立大学, 工学(系)研究科(研究院), 特任助教 (30536959)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
濱 裕光 大阪市立大学, 工学(系)研究科(研究院), 名誉教授 (20047377)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | 類似画像検索 / 再帰的ランキング / マルコフ定常確率分布 / クラスタリング / 類似度測度 |
|---|
| Research Abstract |
本提案研究の目的はユーザの要求にぴったり合致する情報を膨大な画像データベースから探し出して提示できるユーザ満足度最大化システムの開発である。初年度は画像類似度測度のためのマルコフ定常過程を用いた新しい概念を導入し、その性質を調べ、効率よい、計算コストの低い検索アルゴリズムの開発を目指した。さらに、リランクキング手法と、複数の形状記述子を用いた特徴量の組み合わせ方に関する開発を行った。本研究開発では、ユーザが欲する検索結果は、TPO（時と場所と場合）によって変わるため、画像群を複数の分類条件により複数の分類パターンで分類し、その結果を表示し、ユーザの選択を受け取ることでその意図を把握する。類似度を基準にしたデータをクラスタリングするために、マルコフチェーン同値類の概念を適用する。提案手法は、クラスターに関する事前知識が無くても、自動的にクラスターの最適な数を決めることができる。ユーザの意図把握機能を備えた類似画像検索システムにおいて、結果の提示順序は重要であり、「信頼性、知名度、流行度、関連性、地域性、季節性」等の多様なランキング基準を導入できる枠組みを導入した。また、検索システムの処理の流れは以下のようである。画像の全体的特徴と局所的特徴を同時に使いて、シード－ネスト構造から、画像が出力された頻度に基づいてランキングを行なう。検索結果は固定的でなく、また、検索対象がある画像中に含まれていても背景の影響を最小限に抑えて、検出することができ、同時に似ている程度をパラメータにより制御できるような仕組みを組み込んだ。このことにより、画像の類似度や提示順序を制御できるが、このような機能は従来の検索エンジンにはなかったもので、今後多くの応用分野に展開できるものと考える。複数の公開画像データベースを用いてシミュレーション実験を行い、提案手法の有効性を確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
初年度の目的は、画像類似度測度のためのマルコフ定常過程を用いた新しい概念を導入し、その性質を調べ、効率よい、計算コストの低いアルゴリズムの開発である。ここでは、支配的特徴ブロックを用いて画像を表現し、画像の類似度を求め、共起行列から得られる特徴ベクトルを用いて画像の類似度を求める。画像特徴を抽出し共起行列から定常確率分布と初期確率分布を前もって求めておくが、その効率的な導出方法を提案した。開発手法により、データセットの全ての画像についても、この２つの分布を前もって計算しておくことで、全体の計算量を少なくすることができる。また、画像内および画像間の両方の空間情報構造を組み合わせてマルコフ定常特徴ベクトルを計算する。導き出された確率分布を２次元ベクトルとして用いると、確率分布なので、統計的な距離測度を画像検索に用いることができる。
次に、類似度を基準にしたデータをクラスタリングするために、マルコフチェーン同値類の概念を適用する手法を開発した。特に、低次べき乗のマルコフチェーンの遷移確率は同値類の中の要素間では高く、クラス間では低くなることを利用する。このことにより、最適なクラスター数を知ることができる。そのため、提案手法は、クラスターに関する事前知識が無くても、自動的にクラスターの最適な数を決めることができる。実験結果から、画像以外のデータ（連続値と離散値）に対しても、提案手法は有効性であることを確認した。さらに、最新の研究（Thi Thi Zin, et. al. IVCNZ2011）で得られた概念をさらに拡張して、剰余（co-set）関数理論を用いて定常確率分布と初期確率分布の効率的な計算方法を開発した。
以上の通り、当初の目標は達成されており、加えていくつかの成果も得られているので、計画通りあるいはそれ以上の成果が得られたと考える。
|
| Strategy for Future Research Activity |
平成２５年度は、多種多様なモダリティのキューを観測することで、相補的に関連情報をもたらす、画像検索のためのシードネスト（SN）ベースのリランキングシステムの開発を行う。提案システムは、３つのモジュールから成る。①事前ランキング部では、予め画像データベース内のそれぞれの画像をクエリとしてランキングを行い、その結果を保持しておく。②１次検索部では、検索時点においてユーザが例示する画像をクエリとして類似画像を検索し、③最終ランキング部では１次検索部の結果として得られるデータベース内の画像をクエリとして事前ランキング部で保持しているランキング結果をユーザに提示する。また、事前ランキング部は、データベース内のそれぞれの画像をクエリとして１回目の検索を行ったときに上位に位置する画像のそれぞれをもう一度クエリとして検索する再帰的検索部を備える。事前ランキングはユーザが検索を開始する以前に済ませておくが、データベースに新しい画像が加わったり、古い画像が削除された場合にはその都度更新する。
まず、クエリ画像から特徴を抽出し、一次検索部で画像データベース内の特徴テーブルを参照して、最も類似度が高い画像を選び出す。次に、最終ランキング部ではランキングテーブルを参照し、選び出された画像に対応付けられたランキング順に検索結果を出力する。この方法では、事前ランキングにおけるランキングが妥当か、どうかが重要である。また、事前ランキングを予め行うことで、計算コストが少なく、かつ、妥当なランキングで結果をユーザに提示でき、ユーザ満足度を向上させるという効果がある。今後は、どのような距離が最適かについても調べ、クエリに対し形状の変形や歪み、部分的オクルージョンを許容し、スケール不変で、類似画像を検索できることに加えて、クエリ画像の一部分が類似している画像でも検索できるようなシステムの開発を目指す。
|
| Expenditure Plans for the Next FY Research Funding |
平成24年度予算執行の過程で、端数がでたため、次年度使用額（B-A）701円が生じた。次年度使用額を含めて、平成25年度には、設備備品費：0円、消耗品費：100,701円、旅費：500,000円、人件費・謝金：600,000円、その他：200,000円、合計：1,400,701円を計上する。その内訳は、WiFiルータ50,000円、プリンタトナー50,000円、研究成果発表のために国際会議参加費用250,000×2回（500,000円）、研究を効率的に進めるための研究補助員雇用の費用（100,000/月×6ヶ月＝600,000円）、論文誌投稿費用100,000円、国際会議登録料50,000×2回（100,000円）を予定している。
|
