2023 Fiscal Year Annual Research Report
手術における執刀医視点・助手視点・固定多視点映像の統合解析による行動センシング
| Project/Area Number |
22H03617
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
梶田 大樹 慶應義塾大学, 医学部(信濃町), 講師(非常勤) (30723267)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
斎藤 英雄 慶應義塾大学, 理工学部(矢上), 教授 (90245605)
杉本 麻樹 慶應義塾大学, 理工学部(矢上), 教授 (50517399)
青木 義満 慶應義塾大学, 理工学部(矢上), 教授 (00318792)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 手術動画 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、実際の手術室の環境下において、外科医の行動や患部の状態をセンシングし、異常の早期発見や医療者へのフィードバックを行う技術の開発に貢献することである。
令和5年度には外科医の注視情報付きの一人称視点手術動画21本について、9クラスの手術工程のアノテーションを施し、31時間に及ぶデータセットを作成した。
固定多視点術野映像による術野の空間的センシングに関しては、深層学習によって3次元構造を推定する最新技術として、neural radiance fields (NeRF) の技術を適用し、open surgery (OS) における術野の3次元構造を推定して自由視点画像を生成する技術をOS-NeRFと称して提案した。これにより、外科医の頭などの障害物で記録されなかった視点の映像を復元することができたが、画質には改善の余地が見られた。
一人称視点映像に関しては、手術工程推定の技術を応用し、長尺の手術動画を任意の時間に自動で要約する技術を開発した。動画のうち有用なフレームで、かつ手術工程の多様性を考慮して各工程が満遍なく含まれるようにモデルを学習させた。Positive Rate、Negative Rate、Diversity and Inclusion Scoreの指標において、ランダムサンプリングの結果を大きく上回る結果を得た。数時間にもおよぶ動画の概要を短時間で把握できることは、多忙な外科医にとって有用である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究実施計画の通りの成果が得られている。
|
| Strategy for Future Research Activity |
固定多視点術野映像による術野の空間的センシングについては、4D Gaussian splattingの技術を適用して、自由視点の映像を時系列で動かして視聴することについて取り組む。また、そのような映像をヘッド・マウンテッド・ディスプレーや、裸眼立体視が可能な空間再現ディスプレーで表示することについても取り組む。一人称視点映像については、外科医の協調的行動センシング技術の研究に取り組む。
|
