2023 Fiscal Year Annual Research Report
Study on improving the level of autonomy of locally operated endoscopic surgical assistant robots
| Project/Area Number |
22H00589
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
西川 敦 大阪大学, 大学院基礎工学研究科, 教授 (20283731)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河合 俊和 大阪工業大学, ロボティクス&デザイン工学部, 教授 (90460766)
鈴木 寿 中央大学, 理工学部, 教授 (10206518)
西澤 祐吏 国立研究開発法人国立がん研究センター, 東病院, 医員 (50545001)
藤田 岳 神戸大学, 医学研究科, 准教授 (90533711)
|
|---|
| Project Period (FY) |
2022-04-01 – 2027-03-31
|
| Keywords | 自律レベル / 手術支援ロボット / 内視鏡画像処理 / 経外耳道的内視鏡下耳科手術 / 内視鏡カメラ操作 / 深層学習 / トロリー問題 / ソロサージェリー |
|---|
| Outline of Annual Research Achievements |
(1) ロボット機構の設計と製作：腹腔鏡手術支援臓器把持・牽引ロボットについては、医学的機能と仕様を確認するための小型ステンレス機構を設計・外注試作した。耳科手術支援内視鏡保持ロボットに関しては、前試作機の課題（ロボットのセッティングの難しさ、患者肩部とロボット機構部の干渉の問題）を解決するべく、内視鏡ロボットの初期位置を決める画像認識手法の開発ならびに斜交関節を備えた新しい耳科用内視鏡マニピュレータの設計・試作を行い、これらの成果を順次学会発表した（国際会議2件、国内学会4件）。
(2) 内視鏡画像処理アルゴリズム開発：耳科手術支援内視鏡保持ロボットの自律制御ための基礎情報として、深層学習により最大2本の手術器具のセグメンテーションならびに器具先端位置検出を行う画像処理システムの開発とその評価を行い、1件の国内学会発表を行った。並行して、ステレオ内視鏡の利用に基づく腹腔鏡手術器具3次元位置決めのための産学共同研究も開始し、2件のニュースリリースを行った。
(3) 内視鏡下耳科手術における術者の内視鏡操作の画像解析：2台のカメラを用いて、手術タスク中の術者（ExpertとNovice）の内視鏡操作の様子を常時撮影し、これらの動画と内視鏡映像を徹底的に画像解析することで、ExpertとNoviceの内視鏡操作の違いを定量的に明らかにし、1件の国内学会発表を行った。
(4) 医学会総会（東京国際フォーラム）にて4日間の学術展示、国際学会CORLAS 2023にて(1)-(3)の2023年度前半までの成果を発表し、本研究の全体像を特に医療従事者向けに広く公開した。また、招待講演を通して、異分野の研究者・学生向けに本研究全体を広く紹介した。さらに、昨年度実施したトロリー問題の代数モデル化（術者の意思決定分布再現の土台）を検証するための対話システムのデモ動画をYouTubeに一般公開した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2022年度実績報告書における「今後(2023年度）の研究の推進方策」は以下の通りであった。
(i) ロボット機構設計・製作：(a)腹腔鏡手術支援臓器把持・牽引ロボットについては、前試作機をベースに小型ステンレス機構を外注試作する。(b)耳科手術支援内視鏡保持ロボットに関しては、前試作機の課題（セッティング時の初期たわみの問題、患者肩部とロボット機構部の干渉の問題）を解決できる新たなロボット機構の設計・試作を行う。(ii)内視鏡画像処理アルゴリズム開発：(a)深層学習により最大2本の手術器具のセグメンテーションを行う内視鏡画像処理システムの構築に注力する。(b) ステレオ内視鏡システム-PC間のインタフェース設計・製作も新たに行う。(iii) 腹腔鏡手術・内視鏡下耳科手術における外科医の動作解析:複数台のカメラならびに各種計測機器を用いて、手術中の外科医の術具・内視鏡操作の様子を内視鏡映像とともに撮影・記録し、データベース化する。並行して、各種動画や計測データを徹底的に解析することで、ロボットに実装可能な外科医の操作スキルの抽出を試みる。
以上3点の実施計画に対する達成度（自己点検評価）は次の通りである。
(i)について：(a)(b)ともに当初の計画どおりの試作機を設計・製作できた。(ii)について：(a)(b)ともに当初の計画以上に進展した。具体的には、(a)最大2本の手術器具セグメンテーションのみならず器具先端検出とその評価まで達成することができた。(b)ステレオ内視鏡システム構築のみならず、同システムをベースにした産学共同研究を立ち上げることができた。(iii)について：ロボットに実装可能な操作スキル抽出までには至っていないが、その土台となるExpertとNoviceの内視鏡操作スキルを定量化することはできた。
以上より、総合して「おおむね順調に進展している」と自己評価する。
|
| Strategy for Future Research Activity |
手術支援ロボットの自律レベル向上のための(A)基盤ハードウェア・（B)基盤ソフトウェアの開発を当初の計画どおり引き続き推進するとともに、当初の計画以上に進展があった2つの研究課題(C)(D)にも注力する。
（A）経外耳道的内視鏡下耳科手術（TEES）用内視鏡保持ロボット試作機の開発：2023年度までの試作機を用いた医師評価実験より、臨床医は手技に応じた内視鏡レンズ上のピボット支点変更を行っていることが明らかになったことから、モータ配置角度を可変とする斜交軸の傘型機構および直交座標系の機構を新たに設計試作する。また、本ロボットを足でリーダーフォロワーやon/off操作するデバイスと、ロボットの円滑な設置のための位置姿勢を決める新たな保持アームを考案する。
（B）TEES用内視鏡ロボットの制御と術者の行動記録システム：2023年度に開発したロボット試作機と手術器具先端位置検出画像処理システムを組み合わせて、画像内での器具先端の動きにより手術中にロボット操作ならびにそれらの行動記録を同時に行えるシステムの構築を行う。
（C) 腹腔鏡手術器具の3次元位置決め：ステレオ内視鏡を用いて、手術器具を把持させたロボットに挿入孔を通して器具先端位置から目標位置へ3次元的に高精度で位置決めさせる新しいビジュアルフィードバック制御手法を開発する（産学共同研究）。
（D）トリアージ問題の代数モデル化と内視鏡カメラワーク問題への応用展開：これまでに構築したトロリー問題の代数モデルをベースにして、救急医療分野における医療従事者の究極の行動選択問題であるトリアージ問題をとりあげ、その代数モデル化を行うことで医師の行動選択の本質を詳細分析する。並行して、前年度に引き続き、手術中の術者の器具・内視鏡操作データを徹底的に解析する（知識の抽出を行う）ことで、本代数モデル化手法のカメラワーク問題への応用可能性を検証する。
|
| Remarks |
【アウトリーチ活動】
1.ローカル操作内視鏡手術支援ロボットの自律レベル向上の研究. 第31回日本医学会総会 学術展示. 2023.4.20-23;東京国際フォーラム,ホールB5ロビー:ブースB-8. https://youtu.be/AfviGstY1uo
2.トロリー問題の代数モデルを知的人工物との対話形式で検証するためのシステムデモ動画. https://youtu.be/Geakm7XkmqQ
|
-
-
-
-
-
[Presentation] 内視鏡下耳科手術支援ロボット制御に向けた術者の姿勢・動作の画像解析2023
Author(s)
西田周誠, 松居和寛, 厚海慶太, 藤田岳, 上原奈津美, 山下俊彦, 河合俊和, 鈴木寿, 谷口和弘, 平井宏明, 西川敦
Organizer
第32回日本コンピュータ外科学会大会
-
-
[Presentation] 内視鏡下耳科手術支援ロボットの自律化に向けた深層学習を用いた複数手術器具検出2023
Author(s)
丸川可南子, 松居和寛, 厚海慶太, 藤田岳, 上原奈津美, 山下俊彦, 河合俊和, 鈴木寿, 谷口和弘, 平井宏明, 西川敦
Organizer
第32回日本コンピュータ外科学会大会
-
-
-
-
-
-
-
-
