• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2015 Fiscal Year Research-status Report

動画像処理による非剛体の挙動解析の研究

Research Project

Project/Area Number 26330209
Research InstitutionWaseda University

Principal Investigator

大谷 淳  早稲田大学, 理工学術院, 教授 (90329152)

Project Period (FY) 2014-04-01 – 2017-03-31
Keywords動画像処理 / RGBD画像 / 動物体追跡 / 予測 / 手の動き / 手術野 / 手術の状況 / 関節構造
Outline of Annual Research Achievements

本年度は以下の2つの検討を行った。
1. 動物体の抽出・追跡
移動ロボットは、必要に応じて静止し、必要な行動を行う必要がある。特に、人間と対話的な作業を行うためには、静止カメラから人間の行動を予測する必要がある。本年度はRGBD(色彩と距離)動画像から、ロボットと対面する人間の行動を予測する方法について検討を行った。RGBD動画像の各フレームにおいて人物の骨格構造を得て特徴抽出する際、従来は用いられていなかった手と首の位置情報を追加した。机上の物体に人間が手を伸ばし、異なる3種類の掴む動作を行う場合の認識率を実験により求めた。その結果、認識率は80%を超えるとともに、従来法よりも認識率が向上することが確認された。
2. 動画像処理に基づく手術の状況解析
本年度は、既に提案した縫合手術動作認識手法の機能拡張法を検討した。即ち、従来は、傷の縫合手術における2つの動作(手術の段階)が認識対象であったのを、5つの動作に拡張するとともに、動作が完了する前の極力早い時点でその動作を予測可能な手法を検討した。本予測手法において、まずsliding window(複数フレームから構成される)を、手術者の手の動きを含む手術野を撮像した動動画像において移動させて、予測対象の手の動き動作の開始候補点を検出し、開始候補点から対象動画像を複数フレームから構成されるセグメントに分割し、Ryooらの方法および教師データとの動的計画法等に基づくマッチングを行い、教師データとの類似度を求める。このマッチングには、教師データの特徴量のヒストグラムを計算し、類似度を求める。この類似度をベイズ推定に基づく予測対象動作の事後確率を求める計算式に代入し、事後確率が最大となる動作を予測結果として出力する。実験の結果、対象動作が70%以上完了した場合、平均予測率は77.2%であり、90%以上の場合、80.4%であった。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

1. 動的動画像中の動物体の抽出・追跡
当初の計画通り、関節構造をもつ非剛体物体である人体の動作の認識法の検討を開始できたので、おおむね順調に進展していると言える。
2. 動画像処理に基づく手術の状況解析
当初の計画では、開腹手術を対象とした検討を行うことにしていたが、平成26年度中に明らかになってきた重要な方向性である手術状況の予測法については、妥当な進展があったと考えられる。
以上を総合すると、おおむね順調に進展していると判断できる。

Strategy for Future Research Activity

1. 動的動画像中の動物体の抽出・追跡
平成27年度に行った関節構造物体である人体の動作の認識法の検討を、動的動画像からの認識法に拡張することを目指す。
2. 動画像処理に基づく手術の状況解析
平成27年度に行った傷の縫合手術における5つの手術動作(手術の段階)の予測の検討では、手術の動画像から各動作をあらかじめ切り出しておく必要があった。今年度は、自動的に各動作を抽出し、予測を行う方法を検討する。

Causes of Carryover

次年度に実験データ収集の必要性が高まり、そのための費用を次年度に計上するため。

Expenditure Plan for Carryover Budget

大学院生等の研究補助者を雇用し、本年度の研究遂行に必要な実験データ収集を行う。

  • Research Products

    (5 results)

All 2016 2015

All Journal Article (2 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 1 results,  Open Access: 2 results) Presentation (3 results)

  • [Journal Article] Computer Vision Technologies towards the Actualization of Robotic Scrub Nurses2016

    • Author(s)
      Ye Li and Jun Ohya
    • Journal Title

      The Imaging Society of Japan

      Volume: 55 Pages: 106-110

    • Open Access
  • [Journal Article] Recognizing Hand Actions during Suture Surgeries from Video Sequences Based on Sliding Windows, SBoWS Feature and Neural Network2015

    • Author(s)
      Ye LI, Jun OHYA, Toshio CHIBA, Rong XU, and Hiromasa YAMASHITA
    • Journal Title

      IIEEJ Transactions on Image Electronics and Visual Computing

      Volume: 3 Pages: 34-43

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] 縫合手術を構成する5つの段階の動画像からの識別法の検討2016

    • Author(s)
      三浦朋也, 李イエ、大谷淳
    • Organizer
      画像電子学会 第 276 回研究会 in 飯塚
    • Place of Presentation
      飯塚市
    • Year and Date
      2016-03-03 – 2016-03-04
  • [Presentation] 部分骨格モデルを利用する人物の行動認識法の検討2016

    • Author(s)
      藤本篤人、立松直倫、大谷 淳
    • Organizer
      画像電子学会 第 276 回研究会 in 飯塚
    • Place of Presentation
      飯塚市
    • Year and Date
      2016-03-03 – 2016-03-04
  • [Presentation] Study of Early Recognition and Progress Level Calculation of Surgeon's Action during Suture Surgery2015

    • Author(s)
      Y. Li, J. Ohya et al.
    • Organizer
      The 43rd Media Computing Conference
    • Place of Presentation
      姫路市
    • Year and Date
      2015-06-28 – 2015-06-29

URL: 

Published: 2017-01-06  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi