• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2018 年度 実績報告書

操作者と自律動作ロボットの機能融合による遠隔手術支援システム

研究課題

研究課題/領域番号 17H03199
研究機関東京医科歯科大学

研究代表者

川嶋 健嗣  東京医科歯科大学, 生体材料工学研究所, 教授 (40300553)

研究分担者 菅野 貴皓  東京医科歯科大学, 生体材料工学研究所, 助教 (50714234)
只野 耕太郎  東京工業大学, 科学技術創成研究院, 准教授 (90523663)
研究期間 (年度) 2017-04-01 – 2020-03-31
キーワード手術ロボット / 自律制御 / 機械学習 / マンマシンインターフェース / マニピュレータ
研究実績の概要

1.人間と自律ロボットが協調して手術を行う半自律手術ロボットの実現に向けて,画像処理を用いたロボットの制御に関する基礎的な検討を行った.従来はロボット鉗子の姿勢と鉗子に加わる力をセンサ情報を用いて計測していたが,本研究では,鉗子にマーカーを貼り付け,内視鏡に映る鉗子の画像から姿勢と力を推定した.提案した推定アルゴリズムは,画像を事前に二値化処理などを行って軽量化してから畳み込みニューラルネットワーク(CNN)に入力するものであり,従来の画像処理と比較して速度と精度の両立が可能である.提案手法を用いて,鉗子先端の屈曲角度を平均誤差1.0[deg]の精度で推定した.また,推定した屈曲角度と運動学情報によって力を推定し,平均誤差0.04[N]での外力推定ができることを確認した.

2.半自律ロボットの操作インタフェースの候補として,バーチャルリアリティ用のヘッドセットとモーションセンサを用いた操作方法の開発を行った.並進3自由度,姿勢3自由度,把持の計7自由度の手術ロボットを術者が手に持ったモーションセンサで操作し,術者の頭に装着したヘッドセットの姿勢センサで頭の姿勢を読み取り,その情報を利用して4自由度の内視鏡カメラを操作するインタフェースを試作した.試作したシステムでは従来のように操縦装置に拘束されないため,半自律ロボットによる作業と人による作業のシームレスな切り替えが可能になると期待される.

3.手術ロボットのバイラテラル制御の性能を向上させるためには,ロボットの機構の性能を向上させることも重要である.本研究では,手首の回転動作を滑らかにするために,手首2自由度とは独立に回転するグリッパを有した鉗子マニピュレータを提案した.鉗子を体内に挿入する清潔部と体外の不潔部に分離できるように,先端軸の回転の伝達にマグネットカップリングを用いた非接触伝達機構を導入した.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

画像処理を用いてセンサを用いずに制御する手法を開発するなど,自律動作に向けた研究は想定以上に進んでいる.一方で,非受動,非線形な制御対象に対して安定性を保証する受動性補償器については,現状の空気圧駆動によるロボット制御システム自体が非受動な振る舞いをすることから,空気圧バイラテラル制御の安定化に取り組んでいる.したがって,本研究課題全体としては順調に進んでいると考えられる.空気圧バイラテラルについては,波変数を用いたバイラテラル制御をベースとして,受動性を満たすゲインの条件を導出するなどの対処を行っている.
また,自動縫合の補助については,既にロボットの右手を遠隔操作,左手を自律とするシングルマスタ・デュアルスレーブシステムの開発が完了している.シングルマスタ・デュアルスレーブのシステムは左右のアームの相対位置を正確に調整することが難しいという課題があったが,本年度に畳み込みニューラルネットワークを基盤とした画像処理によって鉗子の姿勢を推定する手法を提案し,その性能が検証できており,これを応用することでこの課題についても解決される可能性があるものと考えられる.
最後に,直感的なインタフェースを用いた自律動作と遠隔操作の切り替えについては,インタフェースの候補について開発が完了している.今後は自律アルゴリズムとインタフェースの統合が課題である.一方,新たに眼科医の協力が得られ,眼科領域における半自律ロボットの開発に積極的に取り組んでいる.

今後の研究の推進方策

既存の手術タスクについて,手動制御と半自律制御を併用する必要性の高いものを洗い出し,そのタスクの下で,手動と半自動の切り替えを行うユーザインタフェースを試作し,評価実験を行う.さらに,ロボットの内界センサや筋電位,脳波などの情報を用いて自動で切り替え,操作者の負担を減らす手法について検討する.作業の状態を推定する手法として,畳み込みニューラルネットワーク,長・短期記憶(LSTM),隠れマルコフモデル(HMM)などの様々な機械学習アルゴリズムが候補として考えられる.
今後は,これらのアルゴリズムについて,タスクとの相性や処理速度などの検討を行う.実験を行いながらどのアルゴリズムが優れているか評価を行う予定である.まず,現時点で当研究室の手術ロボットの画像処理や信号処理で実績のある畳み込みニューラルネットワークとLSTMについて検討を行い,後に他のアルゴリズムを導入する.
また,医療機器としての実用化を目指し,これらの機械学習を安全に実行するための方策について検討を行う.一つは,機械学習と従来の明示的なアルゴリズムとの演算結果を比較し,多重化によって安全を確保する方法である.この方法は,タスクによっては明示的なアルゴリズムを記述することが非常に困難な場合がある.そのため,機械学習アルゴリズムが何を考えているかを術者に提示し,術者が人工知能に干渉できるインタフェースの試作も併せて行う.

  • 研究成果

    (8件)

すべて 2018

すべて 雑誌論文 (1件) (うち国際共著 1件、 査読あり 1件、 オープンアクセス 1件) 学会発表 (7件) (うち国際学会 4件、 招待講演 1件)

  • [雑誌論文] Evaluation of a pneumatic surgical robot with dynamic force feedback2018

    • 著者名/発表者名
      Dimitrios Karponis, Koya Yokota, Ryoken Miyazaki, Takahiro Kanno, Kenji Kawashima
    • 雑誌名

      Journal of Robotic Surgery

      巻: 13 ページ: 1-9

    • DOI

      https ://doi.org/10.1007/s1170 1-018-0878-2

    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] Robotic Forceps Measuring Joint Pose with Visual SLAM2018

    • 著者名/発表者名
      Takuya Iwai, Takahiro Kanno, Kenji Kawashima
    • 学会等名
      The 8th International Conference on Positioning Technology (ICPT 2018)
    • 国際学会
  • [学会発表] External Force Estimation of Forceps Tip Using Machine Learning2018

    • 著者名/発表者名
      Hiroki Kaji, Takahiro Kanno, Tetsuro Miyazaki, Toshihiro Kawase, Kenji Kawashima
    • 学会等名
      The 8th International Conference on Positioning Technology (ICPT 2018)
    • 国際学会
  • [学会発表] Immersive Operation Interface for Surgical Robot Using Motion Sensor and VR Headset2018

    • 著者名/発表者名
      Ryoken Miyazaki, Takahiro Kanno, Kenji Kawashima
    • 学会等名
      The 8th International Conference on Positioning Technology (ICPT 2018)
    • 国際学会
  • [学会発表] Robotic Surgical System using Pneumatic Actuators2018

    • 著者名/発表者名
      Kenji Kawashima
    • 学会等名
      16th Urological Association of Asia Congress,
    • 国際学会 / 招待講演
  • [学会発表] 内視鏡画像を用いたCNNによるロボット鉗子の姿勢推定2018

    • 著者名/発表者名
      三ケ田拓人,梶創揮,岩井拓也,菅野貴皓,川瀬利弘,宮嵜哲郎,川嶋健嗣
    • 学会等名
      計測自動制御学会産業応用部門大会
  • [学会発表] 非接触回転伝達機構による着脱が可能な鉗子マニピュレータの制御性2018

    • 著者名/発表者名
      横田航也,藤田壽憲,宮崎良兼,菅野貴皓,川嶋健嗣
    • 学会等名
      計測自動制御学会産業応用部門大会
  • [学会発表] 非接触回転伝達機構による着脱が可能な空気圧駆動鉗子マニピュレータ2018

    • 著者名/発表者名
      横田航也,宮崎良兼,菅野貴皓,藤田壽憲,川嶋健嗣
    • 学会等名
      第36 回日本ロボット学会学術講演会

URL: 

公開日: 2019-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi