2011 Fiscal Year Research-status Report
移動ロボット制御のための人物の重なりテンプレートを用いた複数人物同時追跡
| Project/Area Number |
23700203
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
佐竹 純二 豊橋技術科学大学, 工学(系)研究科(研究院), 助教 (60392726)
|
|---|
| Project Period (FY) |
2011-04-28 – 2013-03-31
|
| Keywords | 人物追跡 / 移動ロボット / ステレオカメラ / パーティクルフィルタ |
|---|
| Research Abstract |
本研究では、多数の人物が自由に行き交う複雑状況下で、移動ロボットを制御するための画像処理技術について研究している。ショッピングセンターのような広い空間の中で、複数の人物が様々な方向へ自由に移動する状況を想定し、ロボットカメラから撮影された画像を用いて各人物を検出・追跡する。これまでの研究成果として、ステレオカメラから得られた距離情報を用い、人物上半身のシルエット形状をテンプレートとして人物の検出・追跡を行う方法を提案し、RT MiddlewareにおけるRTコンポーネント（RTC）として人物検出・追跡を実装した。また、交錯する人物を安定に追跡するため、画像上での複数人物のシルエットの重なりを考慮したテンプレートを用いた追跡方法を開発した。そして、カーネル密度推定に基づく尤度マップ近似を用いた処理の高速化により、実時間での人物追跡処理を実現した。さらに、ロボットが見え情報を用いて追従対象人物を識別するため、SIFT特徴に基づく人物識別の方法を開発した。2011年11月に北京で開催された国際会議ACPR2011で研究成果を発表し、現在、ロボット学会誌に投稿中である。また、産業開発機構株式会社の雑誌「映像情報インダストリアル」に解説記事を投稿した。その他、第29回日本ロボット学会学術講演会や第54回自動制御連合講演会などの国内研究会でも研究発表を行った。さらに、2012年1月19日にナゴヤドームで開催された「第9回ビジネスリンク 商賣繁盛」にて、実際に開発した人物追従ロボットのデモ実演を行った。また、2012年5月27～29日に浜松で開催されるロボティクス・メカトロニクス講演会2012でもデモ実演を行う予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2人の人物が接近した際、それぞれの予測位置をもとに2人の人物が重なり合ったシルエット形状を推定し、ステレオカメラから得られた距離画像とのマッチングを行うことより、各人物を正しく認識し、人物を単独に検出するよりも正確な位置を推定できることを確認した。ここで、接近した人物の重なり方には、2人の場合でも各人物のパーティクル数の2乗の組合せが存在するため、画像比較の計算コストが大きいという問題がある。そこで、カーネル密度推定に基づき、少ないサンプルから尤度マップを近似する方法を提案した。具体的には、ある一定数のパーティクルでのみテンプレートマッチングを行い、近似した尤度マップから残りのパーティクルの尤度を推定することで高速な追跡を実現する。まずは2人の重なりの場合についての追跡方法を開発し、実際に移動ロボットによるオンラインでの実時間処理を実現した。そして、その成果を国際会議ACPR2011で発表した。また、現在は3人以上の重なりを含む一般的な状況に対応した追跡方法を提案し、国際会議や論文誌に投稿中である。また、当初の研究計画に加え、安定な人物追従を実現するために、服の模様を手掛かりにしたSIFT特徴に基づく人物識別方法も開発した。そして、実際にオンラインでの人物識別処理を実装し、国内研究会で発表を行った。また、現在は国際会議に投稿するための原稿を執筆中である。今後は識別処理の高速化や、他の情報を組み合わせた安定化を行っていく予定である。以上の理由から、現在までの研究達成度はおおむね順調と考えられる。ただし、当初の研究計画の内、一般公開されている画像データベースなどを用いた従来手法との性能比較が実装上の手間の問題によりまだ実現できていないため、今後行っていく予定である。
|
| Strategy for Future Research Activity |
より複雑な状況に対応するため、3人の重なりを考慮したテンプレートを用いた追跡の改良を行う。具体的には、各人物に対し、体の左右両側（もしくは片側）の部分領域が重なった状態の検出・追跡方法を開発する。そして、複数の人物が隣接した状態で出現したり、常に人物領域の一部が他の人物に隠されているような状況にも取り扱う。また、安定な人物追従を実現するため、人物識別の改良も行う。具体的には、色情報やテクスチャ情報だけでなく、人物の身長や体格、歩行動作など様々な情報を組み合わせ、追従対象人物を安定に識別する。また、移動ロボットで実際に特定人物を追従する際、他の人物や障害物を避けようとすると目標人物が視野から外れてしまう恐れがあるため、今後は画像上の目標人物が他の人物と分離しやすくなるような、追跡しやすい位置取りと視線方向についても研究する。従来は静止障害物や移動障害物（人物）との衝突の回避のみを考える場合が多かったが、目標人物を見失わないようにするためにロボットと目標人物の間の遮蔽物も考慮した経路計画を行う。具体的には、障害物によって目標を遮られる時間をコストに含めて移動経路を計画したり、目標を遮られないように移動した場合の追従成功率を様々な状況で検証する。また、パンチルト制御ユニットを用いてカメラの方向制御も実装し、複雑な状況下でも目標人物を安定に追従できるシステムを実現する。そして、大学の食堂や中庭など、実環境下で移動ロボットによる実証実験を行い、実際に動作するシステムを実現するために必要な課題について取り組む。また、Essらが公開している画像データベースなどを用いて従来手法との性能比較も行う。
|
| Expenditure Plans for the Next FY Research Funding |
まず、研究成果をロボット学会論文誌などの論文誌に投稿し、その投稿料として研究費を使用する。また、ICPRやMFIなどの国際会議にも投稿し、その参加費や旅費に使用する。さらに、ロボット学会学術講演会やCVIM研究会など、国内研究会にも研究成果の発表や研究情勢の調査のために数回参加する。また、開発したシステムの動作検証やデモ出展の際、システムを長時間動作させるためのバッテリや、動画像データを記録しておくためのハードディスクなどを追加購入する。その他、必要に応じてケーブルなどの消耗品を購入する。
|
