• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2014 Fiscal Year Research-status Report

動画像処理による非剛体の挙動解析の研究

Research Project

Project/Area Number 26330209
Research InstitutionWaseda University

Principal Investigator

大谷 淳  早稲田大学, 理工学術院, 教授 (90329152)

Project Period (FY) 2014-04-01 – 2017-03-31
Keywords動画像処理 / RGBD画像 / 移動カメラ / 動物体追跡 / 手の動き認識 / 手術野 / 手術の状況
Outline of Annual Research Achievements

本年度は以下の2つの検討を行った。
(1) 動的動画像中の動物体の抽出・追跡
動的RGBD(色彩と距離)動画像から、移動物体を検出する方法の研究を進めた.Temporal Modified RANSACという手法を利用してRGBD動画像から検出される3次元特徴点を、複数の移動物体と背景に分類する.次に,時系列のカラー画像に対して,類似した色彩をもつ画素を時間軸に沿って一定の大きさごとに統合するSuperVoxel(SV)処理を施し,時間的な連続性に基づくグループ化を行う.しかし,SV処理を適用した結果は過分割になるため,複数ラベルのグラフカットを行う事で過分割のデータを移動物体単位に統合する.ここで,各SVにおける前述の特徴点の多寡を,統合に反映する.実験の結果,対象が剛体の場合や,人物等の非剛体の場合でも,身体全体の動きに対して,個々の関節の動きが小さい場合には,正しく物体領域の抽出が行えた.
(2) 動画像処理に基づく手術の状況解析
看護師ロボットの視覚機能の実現を目指し、カメラにより手術野を撮像して得られる画像から手術者の手の動作を解析することにより、手術の状況を認識する方法の検討を進めた。具体的には、傷の縫合手術における「縫合」と「結紮」を認識対象とした。特定動作パターンが無いこれらの動作に有効な画像特徴を提案するとともに、ニューラルネットワークを用いて動作認識する方法を検討した。実験者9人の36本の連続動画系列で91.7%の認識率を得た。さらに、実際の手術では、現状の動作が完了する前に次の動作を予測する必要があるため、本研究では、確率計算を含む動画系列の動的マッチング法を利用する方法を提案した。動作の切り出したデータによる予測実験では、動作が40%完成した時点の平均予測正解率が90%を超えた。一方、連続動画系列の場合、70%完成した時点の平均予測正解率が80%を超えた。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

申請時の研究目的と計画に照らし合わせてみると、2014年度中の進捗は以下のとおりである。
(1) 動的動画像中の動物体の抽出・追跡
平成26年度中に行う予定としていた検討に加えて、当初27年度に行う予定としていた人体等の関節物体の検討まで行えたので、本検討課題項目については、当初の計画以上に進んでいると言える。
(2) 動画像処理に基づく手術の状況解析
平成26年度中に開始する予定だった開腹手術を対象とした検討は、実験の困難さ等諸般の事情により行えていないものの、傷の縫合手術を対象とした検討は、縫合と結紮の認識については既に満足の結果が得られている。また、平成26年度中には、新たな方向性として、手術動作の予測が重要な課題として浮き上がってきたため、検討を開始し、既にかなり重要かつ有効な実験結果を得ている。
以上を総合すると、おおむね順調に進展していると判断できる。

Strategy for Future Research Activity

(1) 動的動画像中の動物体の抽出・追跡
平成26年度に既に開始した人体等の関節物体の追跡の検討を進める。関節が動作して関節物体全体の見え方が変化する場合にも対応可能な方法を提案し、検討する。
(2) 動画像処理に基づく手術の状況解析
平成26年度に開始した手術動作の予測の検討を進め、確固たる結果を得ることを目指す。また、当初の計画に含まれていた開腹手術を対象とした検討も開始する。

Research Products

(5 results)

All 2015 2014

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (4 results)

  • [Journal Article] Locating Fetal Facial Surface, Oral Cavity and Airways by a 3D Ultrasound Calibration Using a Novel Cones' Phantom2014

    • Author(s)
      Rong XU, Jun OHYA, Yoshinobu SATO, Bo ZHANG and Masakatsu G. FUJIE
    • Journal Title

      IEICE TRANSACTIONS on Information and Systems

      Volume: E97-D Pages: 1324-1335

    • Peer Reviewed
  • [Presentation] 人物の関節の三次元データを用いた動作の予測の検討 ~ リー群での相対位置に基づくSkeltonの特徴とMax-Margin Early Event Detectorsを用いた手法 ~2015

    • Author(s)
      立松直倫, 大谷 淳, Larry S. Davis
    • Organizer
      電子情報通信学会PRMU研究会
    • Place of Presentation
      慶応大学矢上キャンパス
    • Year and Date
      2015-03-19 – 2015-03-20
  • [Presentation] Fundamental Study of Early Recognition of Surgeon’s Action during Suture Surgery from Video Sequences2015

    • Author(s)
      Ye Li, Jun Ohya, Toshio Chiba, Rong Xu, and Hiromasa Yamashita
    • Organizer
      2015年 電子情報通信学会総合大会
    • Place of Presentation
      立命館大学びわこ・くさつキャンパス
    • Year and Date
      2015-03-10 – 2015-03-13
  • [Presentation] リー群での人物の関節の相対位置に基づくSkelton の特徴とMax-Margin Early Event Detectors を用いた動作の早期認識の検討2015

    • Author(s)
      立松直倫, 大谷 淳, Larry S.Davis
    • Organizer
      2015年 電子情報通信学会総合大会
    • Place of Presentation
      立命館大学びわこ・くさつキャンパス
    • Year and Date
      2015-03-10 – 2015-03-13
  • [Presentation] Recognizing Hand Actions during Suture Surgeries by using sh-SIFT algorithm2014

    • Author(s)
      Ye Li, Jun Ohya, Toshio Chiba, Rong Xu, and Hiromasa Yamashita
    • Organizer
      第32回 日本ロボット学会 学術講演会
    • Place of Presentation
      九州産業大学
    • Year and Date
      2014-09-04 – 2014-09-06

URL: 

Published: 2016-05-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi