• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Autonomous control of a surgical assistant robot using a stereo endoscope having the capability of real-time generation of depth images

Publicly Offered Research

Project AreaMultidisciplinary computational anatomy and its application to highly intelligent diagnosis and therapy
Project/Area Number 17H05287
Research Category

Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)

Allocation TypeSingle-year Grants
Review Section Science and Engineering
Research InstitutionShinshu University

Principal Investigator

西川 敦  信州大学, 学術研究院繊維学系, 教授 (20283731)

Project Period (FY) 2017-04-01 – 2019-03-31
Project Status Completed (Fiscal Year 2018)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2018: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Fiscal Year 2017: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Keywordsステレオ内視鏡 / デプス画像 / 手術支援ロボット / 自律レベル / 内視鏡画像処理 / ビジュアルトラッキング / ビジュアルサーボ / カウンタートラクション / 画像 / 知能機械 / 知能ロボティックス / 医療・福祉 / コンピュータ外科
Outline of Annual Research Achievements

本研究の目的は、ステレオ内視鏡により得られるRGB画像およびデプス画像、ならびに、光学式3次元計測情報を適切に処理・融合することにより、手術支援ロボットの自律レベル向上に貢献できる様々な術中センシング技術の開発を行うことである。平成30年度の実績は以下のとおりである。
(1)29年度に開発したRGB内視鏡画像のみを用いる手術器具追跡の基本アルゴリズムをベースとし、さらに、デプス画像を用いることにより、互いに重なり合う複数の手術器具を区別して追跡する画像処理手法を新たに開発した。また、デプス画像を用いた領域拡張法に基づく手術器具と臓器の接触推定手法の開発も行った。
(2)29年度に開発した手術器具の高精度画像合成手法を用いて、臓器牽引(カウンタートラクション)時における手術器具先端荷重推定システムの新規開発を行った。手術器具が臓器を牽引するとき手術器具がたわむため、手術器具を直線とみなしてその先端の座標値を画像合成した結果と、画像処理により検出した手術器具先端位置にズレが発生する。このズレを利用することで、手術器具先端荷重を推定できることを示した。
(3)29年度に引き続いて様々な内視鏡手術視野評価指標の設計を行い、内視鏡把持ロボットを用いた被験者実験により、その有用性の検討を行った。結果として、「あるヤコビ行列の行列式の絶対値」が視野評価指標として最も有効であることが示唆された。このヤコビ行列は、ステレオ画像処理による手術器具先端座標と3次元計測装置を用いた被験者の上肢関節角度の推定結果の時系列により計算できる。
(4)29年度に開発したステレオカメラと3次元計測装置の併用に基づく器具中心軸と臓器表面の交点の算出アルゴリズムをベースにして、手術器具先端から臓器表面までの距離(挿入方向距離)の推定手法、ならびに、手術器具の方向制御手法の手術支援ロボットへの実装と制御性能評価を行った。

Research Progress Status

平成30年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

平成30年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2018 Annual Research Report
  • 2017 Annual Research Report
  • Research Products

    (21 results)

All 2019 2018 2017

All Presentation (21 results) (of which Int'l Joint Research: 7 results,  Invited: 2 results)

  • [Presentation] カラー・デプス画像処理ならびに光学式3次元計測の融合による内視鏡手術支援2019

    • Author(s)
      西川敦
    • Organizer
      第17回日本生体医工学会甲信越支部長野地区シンポジウム
    • Related Report
      2018 Annual Research Report
  • [Presentation] Autonomous Control of a Surgical Assistant Robot with a Stereoscopic Endoscope That Can Obtain Depth Information in Real Time -Progress Overview FY 2017-2018-2019

    • Author(s)
      Atsushi Nishikawa, Noriyasu Iwamoto, Toshikazu Kawai, Hisashi Suzuki, Hitoshi Katai
    • Organizer
      The 5th International Symposium on Multidisciplinary Computational Anatomy
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 手術支援ロボットの自律レベル向上のための内視鏡画像処理2019

    • Author(s)
      西川敦, 遠藤航, 勝又進介, 熊王彰吾, 田中淳樹, 佐藤大徳, 溝江俊太郎, 岩本憲泰, 河合俊和, 西澤祐吏, 宇都木修一, 鈴木寿, 片井均
    • Organizer
      第58回日本生体医工学会大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 鉗子ロボット操作に向けた Lab 色空間の色相を用いた内視鏡映像内の術具の画像認識2019

    • Author(s)
      西村文暁, 河合俊和, 岩本憲泰, 西川敦, 西澤祐吏, 中村達雄
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2019(ROBOMECH2019)
    • Related Report
      2018 Annual Research Report
  • [Presentation] Image Recognition of Surgical Tool in Working Area for Laparoscope Robot Control2019

    • Author(s)
      Fumiaki Nishimura, Hisa Nakasuji, Toshikazu Kawai, Atsushi Nishikawa, Noriyasu Iwamoto, Yuji Nishizawa, Tatsuo Nakamura
    • Organizer
      The 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC2019)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 内視鏡保持ロボット制御のための彩度に着目した手術器具の認識2018

    • Author(s)
      中筋一里, 河合俊和, 岩本憲泰, 西川敦, 西澤祐吏, 中村達雄
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2018(ROBOMECH2018)
    • Related Report
      2018 Annual Research Report
  • [Presentation] 内視鏡保持ロボット制御のための色相に着目したバックプロジェクション法による手術器具の認識2018

    • Author(s)
      西村文暁, 河合俊和, 岩本憲泰, 西川敦, 西澤祐吏, 中村達雄
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2018(ROBOMECH2018)
    • Related Report
      2018 Annual Research Report
  • [Presentation] Hands-free interface for laparoscope robot based on image recognition of surgical instrument2018

    • Author(s)
      Fumiaki Nishimura, Toshikazu Kawai, Atsushi Nishikawa, Noriyasu Iwamoto, Yuji Nishizawa, Tatsuo Nakamura
    • Organizer
      The 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC2018)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 内視鏡手術におけるヒトとロボットのインタラクション「内視鏡画像処理×手術支援ロボット+外科医=?」2018

    • Author(s)
      西川敦
    • Organizer
      SICE中部支部シンポジウム2018「特別講演」
    • Related Report
      2018 Annual Research Report
    • Invited
  • [Presentation] 腹腔鏡映像においてモノポーラ止血時に発生する水蒸気を検出するための画像処理手法2018

    • Author(s)
      中筋一里, 河合俊和, 岩本憲泰, 西川敦, 西澤祐吏, 中村達雄
    • Organizer
      第27回日本コンピュータ外科学会大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Method of Image Processing to Detect Mist Generated During Dissection in Laparoscopic View2018

    • Author(s)
      Hisa Nakasuji, Toshikazu Kawai, Noriyasu Iwamoto, Atsushi Nishikawa, Yuji Nishizawa, Tatsuo Nakamura
    • Organizer
      The 14th Asian Conference on Computer Aided Surgery (ACCAS 2018)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 内視鏡ロボット操作に向けた術具と電気メス使用状況を検出する画像処理手法の開発2018

    • Author(s)
      中筋一里, 河合俊和, 岩本憲泰, 西川敦, 西澤祐吏, 中村達雄
    • Organizer
      第19回計測自動制御学会システムインテグレーション部門講演会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Autonomous Control of a Surgical Assistant Robot with a Stereoscopic Endoscope That Can Obtain Depth Information in Real Time -Progress Overview FY 2017-2018

    • Author(s)
      Atsushi Nishikawa, Noriyasu Iwamoto, Toshikazu Kawai, Hisashi Suzuki, Hitoshi Katai
    • Organizer
      The 4th International Symposium on Multidisciplinary Computational Anatomy
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 信州大学繊維学部西川・岩本研究室におけるメディカルロボティクス研究2018

    • Author(s)
      西川敦, 岩本憲泰
    • Organizer
      第16回日本生体医工学会甲信越支部長野地区シンポジウム
    • Related Report
      2017 Annual Research Report
  • [Presentation] 手術器具把持ロボット制御のための器具先端の実時間高精度内視鏡画像合成手法2018

    • Author(s)
      熊王彰吾, 岩本憲泰, 河合俊和, 鈴木寿, 片井均, 西川敦
    • Organizer
      第57回日本生体医工学会大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 内視鏡把持ロボット制御のための手術器具のビジュアルトラッキング2018

    • Author(s)
      遠藤航, 岩本憲泰, 河合俊和, 鈴木寿, 片井均, 西川敦
    • Organizer
      第57回日本生体医工学会大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] ステレオ内視鏡把持ロボットの自律制御に向けた視空間と関節空間の線形近似仮説に基づく視野評価指標の提案2018

    • Author(s)
      田中淳樹, 岩本憲泰, 河合俊和, 鈴木寿, 片井均, 西川敦
    • Organizer
      第57回日本生体医工学会大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 手術器具把持ロボット制御のための3次元計測装置とステレオ内視鏡を用いた仮想レーザスポット点の導出2018

    • Author(s)
      勝又進介, 岩本憲泰, 河合俊和, 鈴木寿, 片井均, 西川敦
    • Organizer
      第57回日本生体医工学会大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] Image Recognition of Triangular Tissue of an Organ Pulled by Forceps in Surgical Working Area for Laparoscope Robot2017

    • Author(s)
      Hisa Nakasuji, Kazuki Naruki, Toshikazu Kawai, Atsushi Nishikawa, Yuji Nishizawa, Tatsuo Nakamura
    • Organizer
      The 39th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC2017)
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 内視鏡手術支援ロボット制御のための色情報の相対差に着目した手術器具のビジュアルトラッキング2017

    • Author(s)
      遠藤航, 岩本憲泰, 鈴木寿, 片井均, 西川敦
    • Organizer
      生体医工学シンポジウム2017
    • Related Report
      2017 Annual Research Report
  • [Presentation] Human-Robot Interaction in Minimally Invasive Surgery and Therapy2017

    • Author(s)
      Atsushi Nishikawa
    • Organizer
      JSPS Alumni Club in Sweden (SAC) Activity Seminar: Smart Textiles - Technology for Medicine and Healthcare
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research / Invited

URL: 

Published: 2017-04-28   Modified: 2019-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi