• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2012 Fiscal Year Research-status Report

複数観測情報の統合による人物行動計測と応用

Research Project

Project/Area Number 24700157
Research InstitutionSaitama University

Principal Investigator

小林 貴訓  埼玉大学, 理工学研究科, 助教 (20466692)

Project Period (FY) 2012-04-01 – 2014-03-31
Keywords人物追跡 / レーザ測域センサ / 全方位カメラ
Research Abstract

本研究では,広範囲での追跡と詳細な振舞いの計測を両立した人物行動計測システムを開発する.全方位カメラとレーザ測域センサを組合せた複合センサ系を用い,複数のセンサ同士の位置関係を自己校正可能とすることで,広い観測領域で人物の位置と見えを捉える.そして,全方位カメラの解像度の低さをレーザ測域センサの情報で補うことで,身体の向きや顔向きを含めた複数人物の追跡を行う.成果はロボットシステムに応用する.
本年度は,広範囲での複数人物の追跡システムとして,センサポールシステムを開発した.センサポールとは,150cm程度の高さの自立するポールに2つのレーザ測域センサを床面から15cm,120cmの高さに設置したものである.このセンサポールを室内に複数配置することで,およそ20m四方の観測領域内の複数人物の追跡を行うことを可能とした.上方に設置したレーザ測域センサは人物の上体(肩付近)を計測し,下方に設置したレーザ測域センサは人物の足首付近を計測する.人物の肩付近をレーザ測域センサで水平に計測すると,その輪郭が,楕円形の一部のような形状で計測できる.そこで,人物の上体の輪郭を楕円形でモデル化し,センサと人物の位置関係に基づいて観測可能な輪郭部分を導出し,実際の計測データと比較することで,人物の位置と身体の向きの追跡を行う.GPUを用いた並列計算を行うことで高速かつ頑健な複数人物追跡を実現した.
また,全方位カメラを併用した人物同定,及び顔向き追跡手法を開発した.レーザ測域センサの上方に全方位カメラを設置し,人物位置から全方位カメラ画像中の人物領域を特定し,領域中の見えの情報から人物を同定する.人物の見えは,身体の向きに紐付けた色ヒストグラムを用い,顔向きの追跡は,顔向き毎に構築したHaar-like特徴によるAdaBoost識別器を適用することで追跡した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

広範囲での追跡と詳細な振舞いの計測を両立した人物行動計測システムの実現へ向け,本年度は,「レーザ測域センサによる広範囲での複数人物の追跡システム」と「全方位カメラを併用した人物同定及び顔向き追跡手法」を開発した.「レーザ測域センサによる広範囲での複数人物の追跡システム」により,20m四方の広範囲で複数人物の位置,身体の向き,両足首位置の追跡が可能となった.さらに「全方位カメラを併用した人物同定及び顔向き追跡手法」により,服装などを手掛かりとした人物同定と,顔向きの追跡も可能となった.センサポールは,無線LANにてデータ通信を行うため,センサ設置場所には電源さえあれば良く,事前の校正もほとんど不要であるため,設置自由度が高い.また,追跡の枠組みにはパーティクルフィルタを用いているが,パーティクルフィルタでは処理時間が追跡性能を大きく左右する.本システムでは,仮説の評価にGPUを用いた並列計算を行うことで,処理の高速化を実現し,従来は難しかった20人程度の人物の頑健かつ高精度な追跡を可能としている.このように,人物行動計測システムの基盤が整いつつため,今後は,人物相互の遮蔽の考慮し,観測領域内での人物の継続的な追跡を可能とする手法を開発し,開発した人物追跡システムを,ミュージアムガイドツアーを行うロボットや自律移動車椅子などのロボットシステムに応用し,有用性を確認する予定である.

Strategy for Future Research Activity

人物行動計測システムの基盤が整いつつあるため,今後は,人物相互の遮蔽を考慮し,観測領域内での人物の継続的な追跡を可能とする手法を開発する.また,開発した人物追跡システムを,ミュージアムガイドツアーを行うロボットや自律移動車椅子などのロボットシステムに応用し,有用性を確認する.
人物の継続的な追跡のためには,遮蔽前後の人物の対応付けが必要である.これまで,服装などの見えに基づいた同定に関しては一定の成果が出ているため,今後は,レーザ測域センサで得られるレーザの反射強度情報に基づいた材質情報,及び追跡軌跡の一貫性を合わせて考慮することで,遮蔽前後の人物の対応付けを行う.身体の向きに関連付けた見えや材質の類似性と,実際の移動速度からの移動時間予測により,より正確な対応付けができると考えている.
また,センサ系を移動ロボットに搭載し統合利用するためには,センサ相互位置の自己校正を可能とする必要がある.そこで,センサに赤外線プロジェクタを新たに取り付け,一方のセンサから床面や天井などに赤外線パターンを投影し,他方のセンサの全方位カメラでそれを観察することで,センサ同士の相対位置を復元する.赤外線パターン投影の原理は,秘映プロジェクタとして提案されているが,本研究では,その原理をセンサ同士の位置関係の校正に応用する.こうすることで,センサとセンサの間に人が居るなどして,一方のセンサから他方のセンサが直接観察できない場合でも,お互いの位置関係を復元できると考えている.

Expenditure Plans for the Next FY Research Funding

該当なし

  • Research Products

    (29 results)

All 2013 2012 Other

All Journal Article (11 results) (of which Peer Reviewed: 11 results) Presentation (18 results)

  • [Journal Article] Object Recognition for Service Robots Based on Human Description of Object Attributes2013

    • Author(s)
      H. Fukuda, S. Mori, K. Sakata, Y. Kobayashi and Y. Kuno
    • Journal Title

      IEEJ Transactions on Electronics, Information and Systems

      Volume: vol.133-C, no.1 Pages: pp.28-39

    • DOI

      10.1541/ieejeiss.133.18

    • Peer Reviewed
  • [Journal Article] A Mobile Guide Robot Capable of Establishing Appropriate Spatial Formations2013

    • Author(s)
      M. Yousuf, Y. Kobayashi, Y. Kuno, K. Yamazaki and A. Yamazaki
    • Journal Title

      IEEJ Transactions on Electronics, Information and Systems

      Volume: vol.133-C, no.1 Pages: pp.18-27

    • DOI

      10.1541/ieejeiss.133.28

    • Peer Reviewed
  • [Journal Article] Effect of Robot's Gaze Behaviors for Attracting and Controlling Human Attention2013

    • Author(s)
      M. Hoque, T. Onuki, Y. Kobayashi and Y. Kuno
    • Journal Title

      International Journal of Advanced Robotics

      Volume: Vol.10 Pages: pp.1-13

    • Peer Reviewed
  • [Journal Article] 同伴者の振舞いの観察に基づいて自動併走するロボット車椅子2012

    • Author(s)
      小林貴訓,高野恵利衣,金原悠貴,久野義徳,小池智哉,山崎晶子,山崎敬一
    • Journal Title

      情報処理学会論文誌

      Volume: vol.53, no.7 Pages: pp.1687-1697

    • Peer Reviewed
  • [Journal Article] Object Recognition for Service Robots through Verbal Interaction about Multiple Attribute Information2012

    • Author(s)
      H. Fukuda, S. Mori, Y. Kobayashi and Y. Kuno
    • Journal Title

      Lecture Notes in Computer Science

      Volume: vol.7431 Pages: pp.620-631

    • DOI

      10.1007/978-3-642-33179-4_59

    • Peer Reviewed
  • [Journal Article] Wide Field of View Kinect Undistortion for Social Navigation Implementation2012

    • Author(s)
      R. Tomari, Y. Kobayashi and Y. Kuno
    • Journal Title

      Lecture Notes in Computer Science

      Volume: vol.7432 Pages: pp.526-535

    • DOI

      10.1007/978-3-642-33191-6_52

    • Peer Reviewed
  • [Journal Article] A Spatial-Based Approach for Groups of Objects2012

    • Author(s)
      L. Cao, Y. Kobayashi and Y.Kuno
    • Journal Title

      Lecture Notes in Computer Science

      Volume: vol.7432 Pages: pp.597-608

    • DOI

      10.1007/978-3-642-33191-6_59

    • Peer Reviewed
  • [Journal Article] Robotic System Controlling Target Human's Attention2012

    • Author(s)
      M. Hoque, D. Das, T. Onuki, Y. Kobayashi and Y. Kuno
    • Journal Title

      Lecture Notes in Computer Science

      Volume: vol.7390 Pages: pp.534-544

    • DOI

      10.1007/978-3-642-31576-3_68

    • Peer Reviewed
  • [Journal Article] Development of a Mobile Museum Guide Robot That Can Configure Spatial Formation with Visitors2012

    • Author(s)
      M. Yousuf, Y. Kobayashi, Y. Kuno, A. Yamazaki and K. Yamazaki
    • Journal Title

      Lecture Notes in Computer Science

      Volume: vol.7389 Pages: pp.423-432

    • DOI

      10.1007/978-3-642-31588-6_55

    • Peer Reviewed
  • [Journal Article] Spatial-Based Feature for Locating Objects2012

    • Author(s)
      L. Cao, Y. Kobayashi and Y.Kuno
    • Journal Title

      Lecture Notes in Computer Science

      Volume: vol.7390 Pages: pp.128-137

    • DOI

      10.1007/978-3-642-31576-3_17

    • Peer Reviewed
  • [Journal Article] Development of Smart Wheelchair System for a user with Severe Motor Impairment2012

    • Author(s)
      R. Tomari, Y. Kobayashi and Y. Kuno
    • Journal Title

      Journal of Procedia Engineering

      Volume: vol.41 Pages: pp.538-546

    • DOI

      10.1109/ICMA.2012.6283096

    • Peer Reviewed
  • [Presentation] 全方位カメラによる周辺情報を用いたロボット車椅子の開発

    • Author(s)
      鈴木亮太, 高野恵利衣, 宗像信聡, 小林貴訓, 久野義徳
    • Organizer
      画像センシングシンポジウム(SSII2012)
    • Place of Presentation
      横浜(パシフィコ横浜)
  • [Presentation] 視線コミュニケーションを考慮したロボット頭部の開発

    • Author(s)
      小貫朋実, 宮田雄規, 小林貴訓, 久野義徳
    • Organizer
      画像センシングシンポジウム(SSII2012)
    • Place of Presentation
      横浜(パシフィコ横浜)
  • [Presentation] Empirical Framework for Autonomous Wheelchair System in Human-Shared Environments

    • Author(s)
      R. Tomari, Y. Kobayashi and Y. Kuno
    • Organizer
      International Conference on Mechatronics and Automation(ICMA2012)
    • Place of Presentation
      Chengdu(Wangjiang Hotel), China
  • [Presentation] Model for Controlling a Target Human's Attention in Multi-Party Settings

    • Author(s)
      M. Hoque, D. Das, T. Onuki, Y. Kobayashi and Y. Kuno
    • Organizer
      International Symposium on Robot and Human Interactive Communication(Ro-Man2012)
    • Place of Presentation
      Paris(Arts et Métiers ParisTech), France
  • [Presentation] Model of Guide Robot Behavior to Explain Multiple Exhibits to Multiple Visitors

    • Author(s)
      M. Yousuf, Y. Kobayashi, Y. Kuno, K. Yamazaki and A. Yamazaki
    • Organizer
      International Session of 30th Annual Conference of the Robotics Society of Japan (RSJ2012)
    • Place of Presentation
      札幌(札幌コンベンションセンター)
  • [Presentation] Vision-Based Attention Control System for Socially Interactive Robots

    • Author(s)
      D. Das, M. Hoque, T. Onuki, Y. Kobayashi and Y. Kuno
    • Organizer
      International Symposium on Robot and Human Interactive Communication(Ro-Man2012)
    • Place of Presentation
      Paris(Arts et Métiers ParisTech), France
  • [Presentation] A Strategy to Enhance Visitors' Audience Participation towards a Museum Guide Robot

    • Author(s)
      K. Ikeda, A. Yamazaki, K. Yamazaki, T. Ohyama, Y. Kobayashi and Y. Kuno
    • Organizer
      IROS2012 Workshop on Human-Agent Interaction
    • Place of Presentation
      Vilamoura(Hotel Tivoli Marina Vilamoura), Portugal
  • [Presentation] Robotic Wheelchair Easy to Move and Communicate with Companions

    • Author(s)
      R. Suzuki, E. Takano, Y. Kobayashi, Y. Kuno, K. Yamazaki and A. Yamazaki
    • Organizer
      IROS2012 Workshop on Progress, Challenges and Future Perspectives in Navigation and Manipulation Assistance for Robotic Wheelchairs
    • Place of Presentation
      Vilamoura(Hotel Tivoli Marina Vilamoura), Portugal
  • [Presentation] Robotic Wheelchair with Omni-directional Vision for Moving Alongside a Caregiver

    • Author(s)
      Y. Kobayashi, R. Suzuki and Y. Kuno
    • Organizer
      International conference on Intelligent Robots and Systems (IECON2012)
    • Place of Presentation
      Montreal(Ecole de Technologie Superieure), Canada
  • [Presentation] Designing Robot Eyes for Gaze Communication

    • Author(s)
      T. Onuki, T. Ishinoda, Y. Kobayashi and Y. Kuno
    • Organizer
      19th Korea-Japan Joint Workshop on Frontiers of Computer Vision (FCV2013)
    • Place of Presentation
      Inchon(Inha University), Korea
  • [Presentation] Tracking a Robot and Visitors in a Museum Using Sensor Poles

    • Author(s)
      T. Ohyama, E. Yoshida, Y. Kobayashi and Y. Kuno
    • Organizer
      19th Korea-Japan Joint Workshop on Frontiers of Computer Vision (FCV2013)
    • Place of Presentation
      Inchon(Inha University), Korea
  • [Presentation] Robotic Wheelchair Moving Alongside a Companion

    • Author(s)
      R. Suzuki, Y. Sato, Y. Kobayashi, Y. Kuno, K. Yamazaki, M. Arai and A. Yamazaki
    • Organizer
      tional Conference on Human-Robot Interaction (HRI2013) Demonstration
    • Place of Presentation
      Tokyo(Miraikan), Japan
  • [Presentation] Attention Control System with Suitable Cue and Time Depending on the Level of Attention

    • Author(s)
      D. Das, M. Hoque, T. Onuki, Y. Kobayashi and Y. Kuno
    • Organizer
      International Conference on Human-Robot Interaction (HRI2013) Late breaking Report
    • Place of Presentation
      Tokyo(Miraikan), Japan
  • [Presentation] Design of Robot Eyes Suitable for Gaze Communication

    • Author(s)
      T. Onuki, T. Ishinoda, Y. Kobayashi and Y. Kuno
    • Organizer
      International Conference on Human-Robot Interaction (HRI2013) Late breaking Report
    • Place of Presentation
      Tokyo(Miraikan), Japan
  • [Presentation] 不可視マーカを用いた複数ロボット車椅子の位置認識

    • Author(s)
      新井雅也, 山崎晶子, 小林貴訓, 久野義徳
    • Organizer
      電子情報通信学会総合大会
    • Place of Presentation
      岐阜(岐阜大学)
  • [Presentation] オントロジーに基づく対話を援用した物体認識の検討

    • Author(s)
      福田悠人, 小林貴訓, 久野義徳, 加地大介
    • Organizer
      電子情報通信学会総合大会
    • Place of Presentation
      岐阜(岐阜大学)
  • [Presentation] 同伴者の行動に配慮したロボット車椅子の協調移動に関する検討

    • Author(s)
      佐藤慶尚, 小林貴訓, 久野義徳
    • Organizer
      電子情報通信学会総合大会学生ポスターセッション
    • Place of Presentation
      岐阜(岐阜大学)
  • [Presentation] 介護支援ロボットのためのユーザリクエスト認識手法の検討

    • Author(s)
      田畠知弥, 小林貴訓, 久野義徳
    • Organizer
      電子情報通信学会総合大会学生ポスターセッション
    • Place of Presentation
      岐阜(岐阜大学)

URL: 

Published: 2014-07-24  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi