2022 Fiscal Year Annual Research Report
手術における執刀医視点・助手視点・固定多視点映像の統合解析による行動センシング
| Project/Area Number |
22H03617
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
梶田 大樹 慶應義塾大学, 医学部(信濃町), 特任助教 (30723267)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
斎藤 英雄 慶應義塾大学, 理工学部(矢上), 教授 (90245605)
杉本 麻樹 慶應義塾大学, 理工学部(矢上), 教授 (50517399)
青木 義満 慶應義塾大学, 理工学部(矢上), 教授 (00318792)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 手術動画 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、実際の手術室の環境下において、外科医の行動や患部の状態をセンシングし、異常の早期発見や医療者へのフィードバックを行う技術の開発に貢献することである。
令和4年度には74件の手術で動画を撮影し、一部の動画については術具や手術工程のアノテーションを施すことで、本研究に活用できるデータセットを拡充した。
固定多視点術野映像による術野の空間的センシングとして、Plane-Sweepアルゴリズムによって術野の奥行きに応じたmultiplane images (MPI)を作成した。このとき、無影灯は手術中に移動させられる場合があり、動画中の多フレームの特徴点を利用することで、チェッカーボード等を用いずともカメラキャリブレーションが実施できる技術を開発して対応した。また、動画に患者の顔が映る際には、目や鼻を自動でモザイク処理する匿名加工技術を開発した。
一人称視点手術動画を対象としては、術野に映る生体組織をセマンティック・セグメンテーションによって検出し、その面積の大きさをもとに、手術の工程を推定する技術を開発した。また術具の情報も併せて利用することで、その精度を向上させた。手術工程の推定に際しては、行動分類タスクに特化したTransformerベースのモデルであるASFormerを応用したところ、accuracy 78％、F1スコア73％の精度で工程を認識することができ、従来手法より14%も上回る結果を得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究実施計画の通りの成果が得られている。
|
| Strategy for Future Research Activity |
固定多視点術野映像による術野の空間的センシングについては、深層学習によって3次元構造を推定する最新技術として、neural radiance fields (NeRF) の技術を適用することについて検討する。また外科医の頭などの障害物で記録されなかった視点の映像を復元する技術の開発にも取り組む。一人称視点映像については、外科医の協調的行動センシング技術の研究に取り組む。また引き続き手術映像を対象としたプライバシー保護技術の開発にも取り組む。さらに動画要約の技術を適用して、視聴者が求める場面のシーンを自動で切り出して要約動画を作成する技術の開発に取り組む。
|
Research Products
(19 results)
