手術における執刀医視点・助手視点・固定多視点映像の統合解析による行動センシング
Project/Area Number |
22H03617
|
Research Category |
Grant-in-Aid for Scientific Research (B)
|
Allocation Type | Single-year Grants |
Section | 一般 |
Review Section |
Basic Section 61010:Perceptual information processing-related
|
Research Institution | Keio University |
Principal Investigator |
梶田 大樹 慶應義塾大学, 医学部(信濃町), 特任助教 (30723267)
|
Co-Investigator(Kenkyū-buntansha) |
斎藤 英雄 慶應義塾大学, 理工学部(矢上), 教授 (90245605)
杉本 麻樹 慶應義塾大学, 理工学部(矢上), 教授 (50517399)
青木 義満 慶應義塾大学, 理工学部(矢上), 教授 (00318792)
|
Project Period (FY) |
2022-04-01 – 2025-03-31
|
Project Status |
Granted (Fiscal Year 2023)
|
Budget Amount *help |
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2023: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2022: ¥7,020,000 (Direct Cost: ¥5,400,000、Indirect Cost: ¥1,620,000)
|
Keywords | 手術動画 / open surgery |
Outline of Research at the Start |
手術動画を解析し、安全で質の高い医療を目指すうえで、外科医の手元を撮影し続けることは困難であった。慶應義塾大学は術野を多視点で撮影するマルチカメラ無影灯を開発し、この課題を解決した。さらに一人称視点での撮影も含め多数の手術映像を記録して、多視点映像の自動選択や、一人称視点映像の自動要約技術に関する成果を挙げてきた。ただし従来は、これら異なるモダリティの映像が個別に用いられていたため、センシングされる行動の粒度や継続性等の限界が存在した。 本研究では、実際の手術を対象とした固定多視点・執刀医視点・助手視点という異なる視点映像の統合解析を実現し、詳細な外科医の行動センシング技術の確立を目指す。
|
Outline of Annual Research Achievements |
本研究の目的は、実際の手術室の環境下において、外科医の行動や患部の状態をセンシングし、異常の早期発見や医療者へのフィードバックを行う技術の開発に貢献することである。 令和4年度には74件の手術で動画を撮影し、一部の動画については術具や手術工程のアノテーションを施すことで、本研究に活用できるデータセットを拡充した。 固定多視点術野映像による術野の空間的センシングとして、Plane-Sweepアルゴリズムによって術野の奥行きに応じたmultiplane images (MPI)を作成した。このとき、無影灯は手術中に移動させられる場合があり、動画中の多フレームの特徴点を利用することで、チェッカーボード等を用いずともカメラキャリブレーションが実施できる技術を開発して対応した。また、動画に患者の顔が映る際には、目や鼻を自動でモザイク処理する匿名加工技術を開発した。 一人称視点手術動画を対象としては、術野に映る生体組織をセマンティック・セグメンテーションによって検出し、その面積の大きさをもとに、手術の工程を推定する技術を開発した。また術具の情報も併せて利用することで、その精度を向上させた。手術工程の推定に際しては、行動分類タスクに特化したTransformerベースのモデルであるASFormerを応用したところ、accuracy 78%、F1スコア73%の精度で工程を認識することができ、従来手法より14%も上回る結果を得た。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究実施計画の通りの成果が得られている。
|
Strategy for Future Research Activity |
固定多視点術野映像による術野の空間的センシングについては、深層学習によって3次元構造を推定する最新技術として、neural radiance fields (NeRF) の技術を適用することについて検討する。また外科医の頭などの障害物で記録されなかった視点の映像を復元する技術の開発にも取り組む。一人称視点映像については、外科医の協調的行動センシング技術の研究に取り組む。また引き続き手術映像を対象としたプライバシー保護技術の開発にも取り組む。さらに動画要約の技術を適用して、視聴者が求める場面のシーンを自動で切り出して要約動画を作成する技術の開発に取り組む。
|
Report
(1 results)
Research Products
(19 results)