Elucidation of the "eye" for safe endoscopic surgery and construction of a foundation for the technological application
| Project/Area Number |
22K08720
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 55010:General surgery and pediatric surgery-related
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
三原 規奨 慶應義塾大学, 医学部(信濃町), 共同研究員 (80464957)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
青木 義満 慶應義塾大学, 理工学部(矢上), 教授 (00318792)
田中 真之 慶應義塾大学, 医学部(信濃町), 助教 (30573414)
植村 宗則 鹿児島大学, 医歯学総合研究科, 客員研究員 (50636157)
北郷 実 慶應義塾大学, 医学部(信濃町), 准教授 (70296599)
斎藤 英雄 慶應義塾大学, 理工学部(矢上), 教授 (90245605)
川平 洋 自治医科大学, 医学部, 教授 (90447285)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 内視鏡外科 / スコピスト / 腹腔鏡下胆嚢摘出術 / AI / Visual odometry (VO) |
|---|
| Outline of Research at the Start |
触覚の乏しい内視鏡外科手術において、安全性を担保する根幹となる操作は、目で確認すること（視認）である。視認のためのスコープ（内視鏡カメラ）を操作するスコピストは、術者の目として大切な役割を果たす。本研究では、「手術の安全性を担保する最適なカメラワークとは何か」を解明するため、経験豊富なスコピストの持つ手（操作技術）と頭（操作予測）を解析し、暗黙知の可視化を試る。この研究の解析データは、術者の意図する視野を提示する革新的スコピストナビゲーションシステムやオートメーションロボットカメラの開発に大きく貢献すると考えられる。
|
| Outline of Annual Research Achievements |
内視鏡外科手術において、視認のための内視鏡カメラを操作するスコピストは、術者の目として大切な役割を果たす。本研究では、「手術の安全性を担保する最適なカメラワークとは何か」を解明するため、経験豊富なスコピストの持つ手（操作技術）と頭（操作予測）を解析し、暗黙知の可視化を試る。操作技術の解析として、カメラ先端の実際の動きを手術動画からVisual SLAMを用いて推定することを試みた。また、操作予測の解析として、手術中の術者の視線を解析することでカメラ操作の予測を行うことを試みた。
Visual SLAMによる研究では、腹腔鏡手術の単眼映像を用いてカメラの動きを計算するために、動的オブジェクトのセグメンテーションに基づくフレームワークを行った。まず手術器具のセグメンテーションをディープラーニングモデルによって実現し、次にセグメンテーションを手術器具によって動かされる臓器に拡張するために、確率モデルを導入した。高密度オプティカルフロー推定法、深度推定法、セマンティックセグメンテーションの結果を考慮し、動的確率を計算した。このモデルを視覚的同時定位マッピング（SLAM）に組み込み、カメラの動きを計算した。複数の腹腔鏡映像を用いた実験により、腹腔鏡環境におけるSLAMシステムのロバスト性を向上させる有望な結果が得られた。
術者の視野推定の研究では、アイトラッカーを用い、注視点測定（Nano）により30本の動画に対してアノテーションは行った。またTobii3グラスを用いた注視点測定では、10件の腹腔鏡下胆嚢摘出術の撮影を行った。注視点の座標データを機械学習で予測し、実測した座標と予測座標の距離を誤差として検証した。RMSE（予測値と実際の値の距離の平均）という指標でNanoでは37.15、Glassでは59.52 という結果を得ることができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
教師動画の収集と選択、教師動画の解析と機械学習、および新規の動画撮影も順調に進んでいる。
|
| Strategy for Future Research Activity |
Visual SLAMによる研究では、作成したアルゴリズムをリアルタイムで投影できるシステムの構築を目指す。術者の視野推定の研究では、Glass では画角を揃えるための処理が必要であること、また、術者の視点が器具の入れ替えなどでモニターから離れることがあり、データセットが不安定であったことが誤差に影響した可能性があるため、さらなるアルゴリズムの検討を行う。
|
Report
(2 results)
Research Products
(1 results)
