2015 Fiscal Year Research-status Report

衣服や旗など形状変形する物体を映像検索するための構造化特徴抽出・照合手法の研究

Research Project

Project/Area Number	15K00251
Research Institution	Aichi Institute of Technology
Principal Investigator	森本正志愛知工業大学, 情報科学部, 教授 (60632198)
Project Period (FY)	2015-04-01 – 2018-03-31
Keywords	映像検索 / 非剛体 / 変形 / 特徴抽出 / 特徴照合
Outline of Annual Research Achievements	本研究では、衣服や旗のような形状が変形する非剛体被写体の映像から物体認識・検索を行う技術の開発を最終目的とする。研究期間内では平面状非剛体（特に国旗）に対し、形状変形頑健性を持つ特徴抽出手法および形状変形に適応可能な特徴照合手法を明らかにする。まず、従来研究で有効であった領域色特徴および局所特徴を用い、形状変形に対する識別性評価を実施した。5種類の形状変形に対する152国旗からの検索ランキング評価より、１．小変形時における領域色特徴の有効性、２．国旗種類に依存する局所特徴の有効性、３．国旗領域抽出の重要性、が判明した。１に関しては、更に形状変形に伴う国旗内のテクスチャ配置ずれに対する識別性評価を行い、領域の隣接関係が保たれていれば領域色特徴が有効であることが判明した。また、国旗領域分割数による性能の違いから、領域分割設計への指針も明らかになった。これらにより、形状変形に有効な特徴量への示唆が得られた。２に関しては、特徴照合時における領域色特徴と局所特徴の自動選択・統合処理の重要性が示唆された。更に、局所特徴点数に基づく特徴選択処理を開発し識別性評価を実施した結果、本処理だけでは局所特徴が有効に利用されないことが判明した。研究計画時の想定通り、照合結果を踏まえた抽出処理・特徴選択へのフィードバックに関する重要性が確認され、次年度以降着手予定である。３に関しては、国旗領域を正しく抽出しある程度の形状補正を行った後に特徴抽出・照合を行う過程の重要性が判明した。入力映像に対しエッジ抽出・輪郭追跡を行って閉領域を取り出し、一定以上の面積領域を国旗領域とする処理を開発・評価した結果、動きの激しい変形被写体に対する処理としては不十分であることが判明した。映像フレーム間の領域位置追跡なども加えた処理が必要であると考えられる。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 当初の研究計画である、１．形状変形に対する局所特徴の不変性評価、および、２．形状変形に対する頑健性を持つ領域特徴手法評価、に対し、それぞれ順調に評価を実施した。１に関しては、5種類の形状変形に対する領域色特徴および局所特徴に対する評価を行い、特徴選択の必要性に関する示唆を得た後、選択基準に関する実験評価を実施した。２に関しては、上記形状変形および形状変形に伴う国旗内のテクスチャ配置ずれに対する領域色特徴の有効性を確認し、構造化特徴設計のための領域分割指針も明らかになった。一方で、国旗領域抽出の重要性に関する示唆が得られ新たな課題となっているが、その課題に対する実験も併せて進展している。
Strategy for Future Research Activity	今後は引き続き研究計画に則り、これまでの評価内容をベースに、３次元形状変形に適応可能な構造化特徴照合手法の検討を開始する。具体的には、１．領域特徴位置間の配置関係記述手法評価、および、２．配置関係照合に基づく被写体識別・位置推定手法評価を行う。１では、領域特徴の位置関係を記述する手法を検討する。多くの利用例が報告されているDeformable Part Modelの知見を活用する。また、国旗領域抽出手法の改良を併せて実施する。高速度カメラなどを用いて実映像撮影・データ蓄積を実施し、知見獲得に繋げる。２では、領域色特徴をベースに照合された結果を基に配置関係の照合を行う手法を検討・評価する。１と同じくDeformable Part Modelの知見を活用しつつ、形状変形量の推定に基づくフィードバック手法を併せて検討し、局所特徴の効果的な選択・統合を可能とするよう研究を進める。
Causes of Carryover	当初購入を計画していた高精度3次元スキャナに代えて、より低価格で同等精度が期待できる3次元スキャナを購入したため、次年度使用額が発生した。
Expenditure Plan for Carryover Budget	翌年度分として請求した助成金と合わせた使用計画としては、被写体としての非剛体対象数を増やすこと、その固定機器および形状変形を制御する機器を購入することで形状変形バリエーションを増やすことが挙げられる。また映像蓄積装置を追加し、高速度カメラおよび3次元スキャナで撮影・蓄積する処理対象映像数を増やすことで、本研究に資する。