2021 Fiscal Year Research-status Report
ロボット支援術中臓器への加圧程度を手術映像のみから判断するAIシステム開発と実装
| Project/Area Number |
21K12724
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
増井 仁彦 京都大学, 医学研究科, 特定病院助教 (50882057)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
粂 直人 京都大学, 医学研究科, 特定准教授 (00456881)
中尾 恵 京都大学, 情報学研究科, 准教授 (10362526)
澤田 篤郎 京都大学, 医学研究科, 講師 (10784796)
小川 修 京都大学, 医学研究科, 名誉教授 (90260611)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | ロボット支援手術 / AI / 触覚 / 手術安全 |
|---|
| Outline of Annual Research Achievements |
ロボット支援手術は以前の非ロボット腹腔鏡手術よりも精緻な操作を可能とした一方,「触覚」を感知できず力も強いことから不慣れな術者の場合術中臓器損傷に遭遇することがある. しかし非ロボット腹腔鏡手術の術者として経験をつんだ場合, 感知できないはずの「触覚」をロボット手術開始当初から「感じる」とされ, それを「仮想触覚」と表現される.本研究では「ロボット支援手術で発生する臓器への加圧（加力）程度を, 手術時の映像情報のみからAIにより判断し術者へ明示」, すなわち「仮想触覚を明示」し実装することを目的とした. 方法は ①臓器へ加圧（加力）時の経時的臓器変形動画データと, ②過去のヒト手術動画から許容される臓器加圧程度をAIへ学習させそれを基にプログラム構築する予定である.
現在の状況としては１.動物モデルを用いて腹腔鏡手術環境下で臓器へ経時的に加圧（加力）した際の, 臓器へかかる力の大きさを測定する「ロードセル力覚センサ搭載ロボット手術用鉗子（力覚センサ搭載鉗子）」を作成した。２．力覚センサ搭載鉗子を用いて, ドライボックス内（非生体内）で動物モデルの臓器（脾臓, 膵臓）圧迫実験を行い, 臓器の変形とその際に発生する加圧量を測定した。３．２のデータを基に, 摘出臓器を対象とした単一カメラ画像からの鉗子圧の推定を試みた. この際には深層学習モデルとして, 単一の二次元カメラ画像を入力画像とし, 3次元応力ベクトル（Fx, Fy, Fz）を出力する畳み込みニューラルネットワーク（CNN）による回帰モデルを採用した。４．入力画像内において予測に用いられた領域や画像特徴の視覚的な理解を可能とするため, Grade-CAMの考え方に基づいて畳み込みレイヤー最下層の出力に関する勾配を求め, 入力画像へ勾配マップを重畳可視化することで確認した. ５．鉗子圧推定の基礎プログラムが完成した.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通り進んでいる。
|
| Strategy for Future Research Activity |
１ 2021年度に完成させた鉗子圧推定プログラムの精度向上を行う. 具体的には2021年度に施行した動物実験を再度行い, 様々な加圧環境での推定ができるようにする必要がある.
２ 過去のヒト手術動画から臓器加圧場面を抽出, ヒト手術で許容される画像上の臓器加圧程度をAIへ学習させる.
３ 1,2を通して, 手術の危険操作の定義づけを行う.
４ 自動臓器認識プログラムを静止画ではなく動画でも対応できるよう, プログラムの更新を行う.
これらを予定している.
|
