手術における執刀医視点・助手視点・固定多視点映像の統合解析による行動センシング
| Project/Area Number |
23K24873
|
|---|
| Project/Area Number (Other) |
22H03617 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
梶田 大樹 慶應義塾大学, 医学部(信濃町), 講師(非常勤) (30723267)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
斎藤 英雄 慶應義塾大学, 理工学部(矢上), 教授 (90245605)
杉本 麻樹 慶應義塾大学, 理工学部(矢上), 教授 (50517399)
青木 義満 慶應義塾大学, 理工学部(矢上), 教授 (00318792)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2024: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2023: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2022: ¥7,020,000 (Direct Cost: ¥5,400,000、Indirect Cost: ¥1,620,000)
|
|---|
| Keywords | 手術動画 / open surgery |
|---|
| Outline of Research at the Start |
手術動画を解析し、安全で質の高い医療を目指すうえで、外科医の手元を撮影し続けることは困難であった。慶應義塾大学は術野を多視点で撮影するマルチカメラ無影灯を開発し、この課題を解決した。さらに一人称視点での撮影も含め多数の手術映像を記録して、多視点映像の自動選択や、一人称視点映像の自動要約技術に関する成果を挙げてきた。ただし従来は、これら異なるモダリティの映像が個別に用いられていたため、センシングされる行動の粒度や継続性等の限界が存在した。
本研究では、実際の手術を対象とした固定多視点・執刀医視点・助手視点という異なる視点映像の統合解析を実現し、詳細な外科医の行動センシング技術の確立を目指す。
|
| Outline of Annual Research Achievements |
本研究の目的は、実際の手術室の環境下において、外科医の行動や患部の状態をセンシングし、異常の早期発見や医療者へのフィードバックを行う技術の開発に貢献することである。
令和5年度には外科医の注視情報付きの一人称視点手術動画21本について、9クラスの手術工程のアノテーションを施し、31時間に及ぶデータセットを作成した。
固定多視点術野映像による術野の空間的センシングに関しては、深層学習によって3次元構造を推定する最新技術として、neural radiance fields (NeRF) の技術を適用し、open surgery (OS) における術野の3次元構造を推定して自由視点画像を生成する技術をOS-NeRFと称して提案した。これにより、外科医の頭などの障害物で記録されなかった視点の映像を復元することができたが、画質には改善の余地が見られた。
一人称視点映像に関しては、手術工程推定の技術を応用し、長尺の手術動画を任意の時間に自動で要約する技術を開発した。動画のうち有用なフレームで、かつ手術工程の多様性を考慮して各工程が満遍なく含まれるようにモデルを学習させた。Positive Rate、Negative Rate、Diversity and Inclusion Scoreの指標において、ランダムサンプリングの結果を大きく上回る結果を得た。数時間にもおよぶ動画の概要を短時間で把握できることは、多忙な外科医にとって有用である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究実施計画の通りの成果が得られている。
|
| Strategy for Future Research Activity |
固定多視点術野映像による術野の空間的センシングについては、4D Gaussian splattingの技術を適用して、自由視点の映像を時系列で動かして視聴することについて取り組む。また、そのような映像をヘッド・マウンテッド・ディスプレーや、裸眼立体視が可能な空間再現ディスプレーで表示することについても取り組む。一人称視点映像については、外科医の協調的行動センシング技術の研究に取り組む。
|
Report
(2 results)
Research Products
(32 results)
