2011 Fiscal Year Research-status Report
適合性フィードバックによる人物の共起関係を考慮した画像検索システムの構築
| Project/Area Number |
23700117
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
新田 直子 大阪大学, 工学(系)研究科(研究院), 講師 (00379132)
|
|---|
| Project Period (FY) |
2011-04-28 – 2013-03-31
|
| Keywords | 人物画像検索 / 人物の共起関係 / 適合性フィードバック / クラス分類 |
|---|
| Research Abstract |
本研究は，個人が撮影した集合写真には家族や友人など特定グループに属する人物が頻繁に共に撮影されることに着目し，画像検索に広く用いられる適合性フィードバックの適用により，大量の集合写真から特定人物を含む画像を人物の共起関係を考慮して検索するシステムの構築を目指す．今年度は以下の課題に取り組んだ．・複数人物を含む画像の収集：提案システムの有効性について実験により検証するため，顔の向きや大きさ，表情，照明，隠れ，経年変化などの影響で見た目による認識が困難な顔を含み，かつ多様な人間関係を含むように，20のコミュニティに対し各50枚の画像を収集し，画像内のすべての顔領域及び顔特徴点を人手で指定し，顔の見た目を表す顔特徴量を抽出した．・顔の見た目と人物の共起関係を考慮した検索方法の検討：抽出した顔特徴量を用いて，各画像に含まれるすべての顔の見た目とその共起関係を表現できる人物共起特徴量を提案した．この人物共起特徴空間において，検索対象人物を含む画像と含まない画像を分類するようにクラス分類器を訓練することにより，検索対象人物の検索に有効な顔の見た目とその共起関係が学習される．システムはこのクラス分類器により検索対象人物が含まれると判定された画像を検索結果としてユーザに提示する．・フィードバック情報を利用した検索に有効な共起人物の学習方法の検討：検索に用いるクラス分類器は，ユーザがフィードバック情報として与える正解／不正解のラベルの付いた少量の画像（適合画像／非適合画像）に基づき学習される．システムはクラス分類器を用いた検索と，ユーザからのフィードバック情報に基づくクラス分類器の訓練を繰り返すことにより，検索対象人物の検索に有効な顔の見た目とその共起関係を逐次的に学習し，検索精度を向上させることができる．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
まず，従来の顔認識の分野で構築されている多くの顔画像データベースと異なり，複数人物を被写体とした画像を収集し，各画像に含まれるすべての顔領域とその顔特徴点を人手で指定することにより，提案システムの有効性を検証するための画像コレクションをある程度整えることができた．次に，得られた顔特徴点から抽出した各顔の見た目を表す顔特徴量を用い，各画像に含まれるすべての顔の見た目とその共起関係を同時に表現できる人物共起特徴量を提案した．上記の画像コレクションを用いた実験により，人物共起特徴量を用いた場合，検索対象人物の顔特徴量のみを用いた場合よりも平均精度（0～1までの値をとり，検索対象人物を含む画像がどれだけ上位に集中しているかを示す．1が最もよい）が0.25から0.4まで向上することを確認した．さらに，画像検索を実現するクラス分類器を訓練する際に用いるラベル付き画像を得るため，検索を行うたびに，少量（15枚）の画像に対し，検索対象人物を含むかどうかの判定をフィードバックとして与え，クラス分類器を繰り返し訓練した．必ず正しい判定が行われると仮定した場合，フィードバックを与えるたびに平均精度が向上し，5回フィードバックを繰り返すことにより，平均精度が0.4から0.7まで向上することを確認した．このように，今年度の課題としていた，顔の見た目とその共起関係を考慮した検索方法の検討，及びフィードバック情報を利用した検索に有効な共起人物の学習方法の検討のいずれについても，開発した手法が，収集した複数人物が撮影された画像で構成される画像コレクションに対して有効であることを確認できており，本研究は順調に進展していると考えられる．
|
| Strategy for Future Research Activity |
次年度は今年度の研究成果を踏まえ，以下の課題に取り組む．・有効な共起人物を高精度に学習するためのフィードバック操作の検討：提案手法におけるユーザのフィードバックを与える手間を考慮すると，フィードバックを与える画像は，少量でも高精度に有用な人物の共起関係を学習できるものであることが望ましい．また，今年度はユーザがフィードバックを与える際に必ず正しい判定を行うものと仮定したが，実際にはユーザは誤った判定も行うと考えられるため，ユーザの判定の信頼度などを考慮したフィードバック操作などが必要となる．そこで今後は，フィードバック毎にクラス分類機の訓練に最も有効な画像を選択する方法や，フィードバックの与え方について検討する．・直観的に操作しやすいインタフェースの構築とインタフェースを用いた検索精度の検証：ユーザから誤ったフィードバック情報が得られる場合があることを想定すると，開発した手法の有効性を検証するにあたり，実際のフィードバック結果を用いることが必要となる．そこで，検索結果とフィードバックを与える画像を提示し，ユーザが実際にフィードバック操作を行うためのインタフェースを構築する．構築したインタフェースを用いて，実際どの程度の精度でユーザからのフィードバック情報が得られるか，またその際，判定の誤りが検索結果の平均精度にどの程度影響するかを今年度得られた結果との比較により検証する．
|
| Expenditure Plans for the Next FY Research Funding |
研究を進めていく上で必要に応じて研究費を執行したため当初の見込み額と執行額は異なったが，研究計画に変更はなく，前年度の研究費も含め，当初予定通りの計画を進めていく．
|
