Automatic Recognition of Human Activities and Functional Tools Based on Understanding of Interation Between User and Objects

• Project/Area Number: 18300065
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Perception information processing/Intelligent robotics
• Research Institution: Ritsumeikan University
• Principal Investigator: SHIMADA Nobutaka Ritsumeikan University, 情報理工学部, 准教授 (10294034)
• Co-Investigator(Kenkyū-buntansha): SHIRAI Yoshiaki 立命館大学, 情報理工学部, 教授 (50206273) ; TANAKA Hiromi 立命館大学, 情報理工学部, 教授 (10268154) ; LEE Jooho 立命館大学, 情報理工学部, 准教授 (80366434)
• Project Period (FY): 2006 – 2008
• Project Status: Completed (Fiscal Year 2008)
• Budget Amount: ¥15,820,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥2,520,000); Fiscal Year 2008: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2007: ¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000); Fiscal Year 2006: ¥4,900,000 (Direct Cost: ¥4,900,000)
• Keywords: 物体認識 / インタラクション / イベント検地 / ジェスチャ / 人体姿勢計測 / ヒューマンインターフェース対話的 / 領域分割 / ヒューマンインターフェース / 対話的 / イベント検知

Research Abstract

影の影響を減らし、人の動きを検出し、人の持ち去りや持ち込み物体を検出する方法を研究し、さらに物体同士が重なって置かれたり、背後のものが持ち去られることによる複雑な画像上の変化を正しく解釈するため、物体シーンのレイヤ構造化表現を考え、持込みと持去りを適切に区別方法を確立した。また、道具を掴む手の形を学習させ、手と物体が重なって見える画像から、手の形を物体を認識する方法を提案した。

Research Products

• [Journal Article] Image-Based Automatic Detection of Indoor Scene Events and Interactive Inauiry (2009)
  • Author(s): 牧和宏, 島田伸敬, 白井良明
  • Journal Title: 電子情報通信学会2009年総合大会 D_12_119 Pages: 228-228
  • Peer Reviewed
• [Journal Article] 複雑背景下におけるモデルの照合誤りを考慮した手指形状推定 (2008)
  • Author(s): 今井章博, 島田伸敬, 白井良明
  • Journal Title: 電子情報通信学会論文誌D Vol.J91-D, No.3 Pages: 784-792
  • NAID: 110007381013
  • Peer Reviewed
• [Journal Article] 把持パターン画像の学習に基づく欠損画素復元と物体認識 (2008)
  • Author(s): 笠原啓雅, 松崎淳, 島田伸敬, 田中弘美
  • Journal Title: 第11回画像の認識・理解シンポジウム(MIRU2008) IS2-5 Pages: 623-628
  • Peer Reviewed
• [Journal Article] 画像に基づく屋内シーン変遷の自動検知と対話的イヘづ卜検索システム (2008)
  • Author(s): 牧和宏, 島田伸敬, 白井良明
  • Journal Title: ViEW2008 ビジョン技術の実利用ワークショップ F-IOH(I-48) Pages: 300-305
  • Peer Reviewed
• [Journal Article] 屋内シーン変遷の対話的検索システムにおける誤解釈の自発的発見及び訂正 (2008)
  • Author(s): Kazuhiro Maki, Noriaki Katayama, Nobutaka Shimada, Yoshiaki Shirai
  • Journal Title: The 19th International Conference on PATTERN RECOGNITION (ICPR2008) TuAT8. 13 Pages: 8-11
  • Peer Reviewed
• [Journal Article] UBIQUITOUS DISPLAY FOR HUMAN CENTERED INTERFACE-Fixed Shape Projeciton and Parameter Optimization (2008)
  • Author(s): Satoshi Miyashita, Joo-Ho Lee
  • Journal Title: 17th lFAC World Congress MoCO1 Pages: 48-48
  • Peer Reviewed
• [Journal Article] 複雑背景下におけるモデルの照合誤りを考慮した手指形状推定 (2008)
  • Author(s): 今井 章博, 島田 伸敬, 白井 良明
  • Journal Title: 電子情報通信学会論文誌D Vol.J91-D No.3 Pages: 784-792
  • NAID: 110007381013
  • Peer Reviewed
• [Journal Article] Object Recognition by Observing Grasping Scene Proceedings (2007)
  • Author(s): Hironori Kasahara and Nobutaka Shimad
  • Journal Title: 13th Japan-Korea Joint Workshop on Frontiers of Computer Vision (FCV06) Pages: 375-378
• [Journal Article] 手話認識のための複雑背景下で高速に運動する手指の形状推定 (2007)
  • Author(s): 浜田康志, 島田伸敬, 白井良明
  • Journal Title: 電子情報通信学会論文誌D Vol.J90-D No.3 Pages: 617-627
  • NAID: 110007385864
• [Journal Article] ゴルフスイング診断のための特徴抽出 (2007)
  • Author(s): 望月智則, 植田勝彦, 島田伸敬, 白井良明
  • Journal Title: 動的画像処理実利用化ワークショップ(DIA)講演論文集 Pages: 11-16
• [Journal Article] 人体ジェスチャの画像計測手法とその応用情報処理学会研究報告(招待講演) (2007)
  • Author(s): 島田伸敬, 白井良明
  • Journal Title: CVIM-158
• [Journal Article] Analysis by Reality-BasedSimulationに基づく関節物体の力学的機能推定 (2007)
  • Author(s): 大田博義, 木村朝子, 島田伸敬, 田中弘美
  • Journal Title: 電子情報通信学会論文誌 D
• [Journal Article] Analysis by Reality-Based Simulationに基づく関節物体の力学的機能推定 (2007)
  • Author(s): 大田博義, 木村朝子, 島田伸敬, 田中弘美
  • Journal Title: 電子情報通信学会論文誌D Vol.J90-D No.7 Pages: 1799-1811
  • NAID: 110007380791
  • Peer Reviewed
• [Journal Article] Hybrid tracking besed on color histogram for intelligent space (2007)
  • Author(s): K. Morioka, J. -H. Lee, Y. Kuroda and H. Hashimoto
  • Journal Title: Artificial Life and Robotics Vol.11, No.2 Pages: 204-210
  • Peer Reviewed
• [Journal Article] Analysis by Reality-Based Simulationに基づく関節物体の力学的機能推定 (2007)
  • Author(s): 大田 博義, 木村 朝子, 島田 伸敬, 田中 弘美
  • Journal Title: 電子情報通信学会論文誌 D Vol.J90-D No.7 Pages: 1799-1811
  • NAID: 110007380791
  • Peer Reviewed
• [Journal Article] Hybrid tracking besed on color histogram for intelligent space (2007)
  • Author(s): K.Morioka, J.-H.Lee, Y.Kuroda and H.Hashimoto
  • Journal Title: Artificial Life and Robotics Vol.11 No.2 Pages: 204-210
  • Peer Reviewed
• [Journal Article] Object Recognition by Observing Grasping Scene (2007)
  • Author(s): Hironori Kasahara, Nobutaka Shimada.
  • Journal Title: Proceedings the 13th Japan-Korea Joint Workshop on Frontiers of Computer Vision (FCV06) Pages: 375-378
• [Journal Article] ゴルフスイング診断のための特徴抽出 (2007)
  • Author(s): 望月智則, 植田勝彦, 島田伸敬, 白井良明
  • Journal Title: 動的画像処理実利用化ワークショップ(DIA) (講演論文集) Pages: 11-16
• [Journal Article] 人体ジェスチャの画像計測法とその応用 (2007)
  • Author(s): 島田伸敬, 白井良明:(招待講演)
  • Journal Title: 情報処理学会研究報告 CVIM-158
• [Journal Article] Analysis by Reality-Based Simulationに基づく間節物体の力学的機能推定 (2007)
  • Author(s): 大田博義, 木村朝子, 島田伸敬, 田中弘美
  • Journal Title: 電子情報通信学会論文誌D (採録決定)
• [Journal Article] 照合の誤り予測と見え変化の学習に基づく複雑背景下での手指形状推定, 情報処理学会 (2006)
  • Author(s): 今井章博, 島田伸敬, 白井良明
  • Journal Title: コンピュータとイメージメディア研究会 2006-CVIM-155-20 Pages: 151-158
• [Journal Article] Automatic Synthesis of Training Data for Sign Language Recognition Using HMM (2006)
  • Author(s): K. Kawahigashi, Y. Shirai, J. Miura, and N. Shimada
  • Journal Title: Proc. 10th International Conference on Compters Helping People with Special Needs Pages: 623-626
• [Journal Article] Face, Gesture, and Action Recognition Robust Face Recognition under Various Illumination Conditions (2006)
  • Author(s): Atsushi Matsumono, Yoshiaki Shirai, Nobutaka Shimada, Takuro Sakiyama, and Jun Miura
  • Journal Title: IEICE Trans. on Info. and Sys Vol.E89-D, No.7 Pages: 2157-2163
• [Journal Article] サービスロボットのためのインタラクティブビジョン, 情報処理学会論文誌 (2006)
  • Author(s): 島田伸敬, 三浦純, 白井良明
  • Journal Title: コンピュータビジョンとイメージメディア Vol. 47, No.SIG15(CVIM 16) Pages: 1-9
• [Journal Article] ハプティックビジョンに基づく関節物体のインタラクティブモデリング (2006)
  • Author(s): 島田伸敬, 上條真継, 松下浩一郎, 松谷剛, 田中弘美
  • Journal Title: 電子情報通信学会論文誌 D-II, Vol.J89-D No.9 Pages: 2013-2024
  • NAID: 110007380545
• [Journal Article] 部屋内シーン変遷の自動管理システム (2006)
  • Author(s): 片山憲昭, 島田伸敬, 白井良明
  • Journal Title: ViEW2006ビジョン技術の実利用ワークショップ講演論文集 Pages: 72-77
• [Journal Article] 映像投影装置を持つ移動ロボットによる避難誘導システム (2006)
  • Author(s): 原田哲也, 伴重尚, 李周浩
  • Journal Title: 第7回計測自動制御学会(SICE)システムインテグレーション部門講演会 2I1-1(CDROM)
• [Journal Article] 対話とジェスチャインターフェースに基づく部屋内シーン変遷問い合わせシステム (2006)
  • Author(s): 島田伸敬, 片山憲昭, 牧和宏, 白井良明
  • Journal Title: 第7回計測自動制御学会(SICE)システムインテグレーション部門講演会 2I2-1(CDROM)
• [Journal Article] 照合の誤り予測と見え変化の学習に基づく複雑背景下での指紋形状推定 (2006)
  • Author(s): 今井章博, 島田伸敬, 白井良明
  • Journal Title: 情報処理学会 コンピューターとイメージメディア研究会 2006-CVIM-15 5-20 Pages: 151-158
• [Journal Article] Automatic Synthesis of Training Dare for Sign Language Recognition Using HMM (2006)
  • Author(s): K.Kawahigashi, Y.Shirai, J.Miura, N.Shimada
  • Journal Title: Proc.10thInternational Conference on Compters Helping People with Special Needs Pages: 623-626
• [Journal Article] Face, Gesture, and Action Recognition Robust Face Recognition under Various Illumination Conditions (2006)
  • Author(s): Atsushi Matsumoto, Yoshiaki Shirai, Nobutaka Shimada, Takuro Sakiyama, Jun Miura
  • Journal Title: IEICE Trans. on Info.and Sys Vol.E89-D,No.7 Pages: 2157-2163
• [Journal Article] サービスロボットのためのインタラクティブジョン (2006)
  • Author(s): 島田伸敬, 三浦順, 白井良明
  • Journal Title: 情報処理学会論文誌 コンピューターとイメージメディア研究会 Vol.47.No. SIG15(CVIM) Pages: 1-9
• [Journal Article] ハブティクビジョンに基づく間節物体のインタラクティブモデリング (2006)
  • Author(s): 島田伸敬, 上篠真継, 松下浩一郎, 松谷剛, 田中弘美
  • Journal Title: 電子情報通信学会論文誌 D-II Vol.J89-D No.9 Pages: 2013-2024
• [Journal Article] 部屋内シーン変還の自動管理システム (2006)
  • Author(s): 片山憲昭, 島田伸敬, 白井良明
  • Journal Title: ViEW2006 ビジョン技術の実利用ワークショップ講演論文集 Pages: 72-77
• [Journal Article] 映像投影装置を持つ移動ロボットによる避難誘導システム (2006)
  • Author(s): 原田哲也, 伴重尚, 李周浩
  • Journal Title: 第7回 計測自動制御学会(SICE)システムインテグレーション部門講演会 211-1(CDROM)
• [Journal Article] 対話とジェスチャーインターフェースに基づく部屋内シーン変換問い合わせシステム (2006)
  • Author(s): 島田伸敬, 片山憲昭, 牧和宏, 白井良明
  • Journal Title: 第7回 計測自動制御学会(SICE)システムインテグレーション部門講演会 212-1(CDROM)
• [Presentation] Image-Based AutomaticcDetection of lndoor Scene Events and Interractive Inquiry (2008)
  • Author(s): Kazuhiro MAKI, Noriaki KATAYAMA, Nobutaka SHIMADA , Yoshiaki SHIRAI
  • Organizer: FCV2008
  • Place of Presentation: 大分、日本
  • Year and Date: 2008-01-25
• [Presentation] Image-Based AutomaticcDetection of Indoor Scene Events and Interractive Inquiry (2008)
  • Author(s): Kazuhiro MAKI, Noriaki KATAYAMA, Nobutaka SHIMADA, YoshiakiSHIRAI
  • Organizer: FCV2008
  • Place of Presentation: 大分、日本
  • Year and Date: 2008-01-25
• [Presentation] 手話認識のための状態遷移構造推定 (2007)
  • Author(s): 松尾直志, 白井良明, 島田伸敬
  • Organizer: 画像の認識・理解シンポジウム(MIRU)予稿集
  • Place of Presentation: 広島、日本
• [Presentation] 複雑背景下におけるモデルの照合誤りを考慮した手指形状推定 (2007)
  • Author(s): 今井章博, 島田伸敬, 白井良明
  • Organizer: 画像の認識・理解シンポジウム(MIRU)予稿集
  • Place of Presentation: 広島
• [Presentation] (2007)
  • Author(s): 片山憲昭, 牧和宏, 島田伸敬, 白井良明
  • Organizer: 動画に基づく部屋内シーン変遷の自動検地と対話的イベント検索システム画像の認識・理解シンポジウム(MIRU)予稿集
  • Place of Presentation: 広島, 日本
• [Presentation] HMMを用いた手話認識のための学習データの自動合成 (2007)
  • Author(s): 新庄智子, 山田寛, 松尾直志, 白井良明, 島田伸敬
  • Organizer: ヒューマンインタフェースシンポジウム
  • Place of Presentation: 東京, 日本
• [Presentation] Hand Posture Estimation in Complex Backgrounds by Considering Asian Conf (2007)
  • Author(s): A. Imai, N. Shimada and Y. Shirai
  • Organizer: on Computer Vision (ACCV)
  • Place of Presentation: 東京
• [Presentation] Automatic Diagnosis System of Golf Swing (2007)
  • Author(s): M. Ueda, Y. Shirai, M. Oonuki
  • Organizer: 3rd Congres on Sports Technology
  • Place of Presentation: Sigapore
• [Presentation] 環境非固定型パンチルトプロジェクタの姿勢変化に起因する歪みの補正手法 (2007)
  • Author(s): 宮下智至, 李周浩
  • Organizer: 計測自動制御学会システムインテグレーション部門講演会
• [Presentation] 移動投影装置を用いた強化現実システムの開発 (2007)
  • Author(s): 李周浩
  • Organizer: 日本機械学会ロボティクス・メカトロニクス講演会
  • Place of Presentation: 秋田, 日本
• [Presentation] 複雑背景下におけるモデルの照合誤りを考慮した手指形状推定 (2007)
  • Author(s): 今井 章博, 島田 伸敬, 白井 良明
  • Organizer: 画像の認識・理解シンポジウム(MIRU)予稿集
  • Place of Presentation: 広島、日本
• [Presentation] 動画に基づく部屋内シーン変遷の自動検地と対話的イベント検索システム, (2007)
  • Author(s): 片山 憲昭, 牧 和宏, 島田 伸敬, 白井
  • Organizer: 画像の認識・理解シンポジウム(MIRU)予稿集
  • Place of Presentation: 広島、日本
• [Presentation] HMMを用いた手話認識のための学習データの自動合成 (2007)
  • Author(s): 新庄 智子, 山田 寛, 松尾 直志, 白井 良明, 島田 伸敬
  • Organizer: ヒューマンインタフェースシンポジウム
  • Place of Presentation: 東京、日本
• [Presentation] Hand Posture Estimation in Complex Backgrounds by Considering (2007)
  • Author(s): A.Imai, N.Shimada and Y.Shirai, …, 2007
  • Organizer: Asian Conf.on Computer Vision(ACCV)
  • Place of Presentation: 東京、日本
• [Presentation] 環境非固定型パンチルトプロジェクタの姿勢変化に起因する歪みの補正手法 (2007)
  • Author(s): 宮下 智至, 李 周浩
  • Organizer: 計測自動制御学会シズテムインテグレーション部門講演会, 3L2-5
  • Place of Presentation: 広島、日本
• [Presentation] 移動投影装置を用いた強化現実システムの開発 (2007)
  • Author(s): 李 周浩
  • Organizer: 日本機械学会ロボティクス・メカトロニクス講演会
  • Place of Presentation: 秋田、日本