2022 Fiscal Year Annual Research Report
Study on improving the level of autonomy of locally operated endoscopic surgical assistant robots
| Project/Area Number |
22H00589
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
西川 敦 大阪大学, 大学院基礎工学研究科, 教授 (20283731)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河合 俊和 大阪工業大学, ロボティクス&デザイン工学部, 教授 (90460766)
鈴木 寿 中央大学, 理工学部, 教授 (10206518)
西澤 祐吏 国立研究開発法人国立がん研究センター, 東病院, 医員 (50545001)
藤田 岳 神戸大学, 医学部附属病院, 准教授 (90533711)
|
|---|
| Project Period (FY) |
2022-04-01 – 2027-03-31
|
| Keywords | 自律レベル / 手術支援ロボット / 内視鏡画像処理 / 経外耳道的内視鏡下耳科手術 / 内視鏡カメラ操作 / 深層学習 / トロリー問題 / ソロサージェリー |
|---|
| Outline of Annual Research Achievements |
人間の限定的な介入のもとで、知的人工物が①情報の収集と解釈・②行動方針の生成・③行動方針の選択・④行動方針の実行を行い、タスクを達成する能力を自律能と呼び、人間の介入レベルを低減化することを自律レベルの向上と呼ぶ。本年度は、経外耳道的内視鏡下耳科手術(TEES)における内視鏡操作タスクを題材に、３つの要素技術の研究を実施した。
(1)手術器具セグメンテーション：内視鏡操作タスクにおける行動方針を生成するための基本情報として、深層学習を用いて内視鏡映像から実時間で手術器具セグメンテーションを行うシステムを構築した。TEES内視鏡画像4900枚を訓練データとして用い、篤志献体を用いた模擬手術における内視鏡映像で評価したところ、出力画像と正解画像とのDice係数0.8以上、処理速度平均20フレーム毎秒を達成した。
(2)トロリー問題の代数モデル化：行動方針選択の基本問題として、線路上にいる5人を轢いてしまうことがわかっていて何もしないのか、それともレバーを操作して支線に入りその線路上にいる1人は轢いてしまうものの5人を救うか、というトロリー問題をブール多値論理で代数学的にモデル化することに成功し、TEESにおける術者の意思決定分布再現の土台となるオリジナルの人工知能プラットフォームが構築できた。
(3)TEES用内視鏡ロボットの開発：鼓膜からの距離200mmのカメラヘッドをピボット支点としてジンバル2軸を構成する回転機構のPitch軸とYaw軸、耳科用内視鏡を装着するベルト・プーリ機構のInsertion軸を備えた3自由度の内視鏡マニピュレータを2種類開発した。本マニピュレータは、手元／足元スイッチまたは手元の操作デバイスで術者が行動方針を直接与えることにより同方針を実行できる。篤志献体を対象とした模擬手術を実施し、術者による安定したクリアな視野で鼓膜の切開が可能であることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
2022年度交付申請時の実施計画概要は以下の通りであった。
(i) ロボット機構設計・製作：耳科手術支援用の内視鏡保持ロボットの新規試作機開発に注力する。高速に内視鏡を抜去できる新たなモータ駆動耳科手術支援1自由度内視鏡直動システムの開発を行う。(ii) 内視鏡画像処理アルゴリズム開発：(a) 深層学習により手術器具のセグメンテーションを行う内視鏡画像処理システムを構築する。(b) ステレオ内視鏡の使用を前提として独自のステレオマッチングアルゴリズムによる実時間内視鏡デプス画像生成システムならびに臓器表面の3D可視化システムを構築する。(iii)腹腔鏡手術・内視鏡下耳科手術における外科医の動作解析：複数台のカメラならびに各種計測機器を用いて、手術中の外科医の術具・内視鏡操作の様子を内視鏡映像とともに撮影・記録する。その後、ロボットに実装可能な外科医の操作スキルの抽出を試みる。(iv) 研究成果の一部は、2022年度中から積極的に学会発表を進めていくと同時に、一般向けアウトリーチ活動も推し進める。
以上4点の実施計画に対する達成度（自己点検評価）は次の通りである。
(i)について：当初の計画以上に進展（1自由度のみならず3自由度内視鏡マニピュレータを2種類開発し、篤志献体を用いた模擬手術実験まで到達した）。(ii)について：(a)(b)ともに当初の計画どおり進展（(b)は実成果を2023年4月に学術展示済）。(iii)について：外科医の操作スキル抽出までには至っていない（研究継続中である）が、その一方で、当初の計画を上回る成果（術者の意思決定分布再現の土台となる技術開発）も得られた。(iv)2022年度中に15件の学会発表と2件のアウトリーチ活動を行い、本研究全体を概観した1件の総説（オープンアクセス）を出版した。
以上より、総合して、「当初の計画以上に進展している」と自己評価する。
|
| Strategy for Future Research Activity |
初年度設定の各サブ課題は当初の計画どおりあるいは計画以上に進展しているため、とくに研究計画を変更することはせず、引き続き、手術支援ロボットの自律レベル向上のための基盤ハードウェア（ロボット）・ソフトウェア（内視鏡画像処理）ならびに腹腔鏡手術・内視鏡下耳科手術における外科医の動作解析に注力する。具体的な研究の推進方策は以下の通りである。
(i) ロボット機構設計・製作：腹腔鏡手術支援臓器把持・牽引ロボットについては、これまでの当グループの研究において、アルミ試作機を構築し、基本的な機能・仕様確認が終了している。2023年度は、今後の検証実験に必要な医学的機能と仕様を確認するため、小型ステンレス機構を外注試作する。一方、耳科手術支援内視鏡保持ロボットに関しては、2022年度に実施した篤志献体を用いた初期実験により、試作機の課題（セッティング時の初期たわみの問題、患者肩部とロボット機構部の干渉の問題など）を明らかにした。2023年度はこれらの課題を解決できる新たなロボット機構の設計・試作を行う。
(ii)内視鏡画像処理アルゴリズム開発：2023年度は、深層学習により最大2本の手術器具のセグメンテーションを行う内視鏡画像処理システムの構築に注力する（手術器具1本に限定していた2022年度のアルゴリズムの拡張である）。2022年度末に納品となったステレオ内視鏡システムを活用するため、ステレオ内視鏡システム-PC間のインタフェース設計・製作も新たに行う。
(iii) 腹腔鏡手術・内視鏡下耳科手術における外科医の動作解析:引き続き、複数台のカメラならびに各種計測機器を用いて、手術中の外科医の術具・内視鏡操作の様子を内視鏡映像とともに撮影・記録し、データベース化する。並行して、各種動画や計測データを徹底的に解析することで、ロボットに実装可能な外科医の操作スキルの抽出を試みる。
|
| Remarks |
【アウトリーチ活動】西川敦, ロボットが手術タスクを代行する日は来るか！？ ～手術ロボットの自律化をめざした果てしなき挑戦～, 大阪大学基礎工学部 第43回公開講座「未来を拓く先端科学技術」講師 2022年8月5日
【アウトリーチ活動】西川敦, 内視鏡手術支援ロボットの自律レベル向上を目指した外科医の動作解析, 2022年度大阪大学SEEDSプログラム実感科学研究テーマ提案, 2022年4月
|
-
-
-
-
-
-
[Presentation] Surgical Instrument Segmentation Using Deep Learning for Robot-assisted Transcanal Endoscopic Ear Surgery2022
Author(s)
Takuma Horinouchi, Kazuhiro Matsui, Keita Atsuumi, Takeshi Fujita, Natsumi Uehara, Toshihiko Yamashita, Toshikazu Kawai, Hisashi Suzuki, Yuji Nishizawa, Kazuhiro Taniguchi, Hiroaki Hirai, Atsushi Nishikawa
Organizer
The 18th Asian Conference on Computer Aided Surgery (ACCAS2022)
Int'l Joint Research
-
-
-
-
-
-
[Presentation] 内視鏡下耳科手術支援ロボット制御のための深層学習を用いた手術器具セグメンテーション2022
Author(s)
堀ノ内琢磨, 松居和寛, 厚海慶太, 藤田岳, 上原奈津美, 山下俊彦, 河合俊和, 鈴木寿, 谷口和弘, 平井宏明, 西川敦
Organizer
第31回日本コンピュータ外科学会大会
-
-
-
-
-
-
-
