| 研究課題/領域番号 |
22H03617
|
|---|
| 配分区分 | 補助金 |
|---|
| 研究機関 | 慶應義塾大学 |
|---|
研究代表者 |
梶田 大樹 慶應義塾大学, 医学部(信濃町), 講師(非常勤) (30723267)
|
|---|
| 研究分担者 |
斎藤 英雄 慶應義塾大学, 理工学部(矢上), 教授 (90245605)
杉本 麻樹 慶應義塾大学, 理工学部(矢上), 教授 (50517399)
青木 義満 慶應義塾大学, 理工学部(矢上), 教授 (00318792)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| キーワード | 手術動画 |
|---|
| 研究実績の概要 |
本研究の目的は、実際の手術室の環境下において、外科医の行動や患部の状態をセンシングし、異常の早期発見や医療者へのフィードバックを行う技術の開発に貢献することである。
令和5年度には外科医の注視情報付きの一人称視点手術動画21本について、9クラスの手術工程のアノテーションを施し、31時間に及ぶデータセットを作成した。
固定多視点術野映像による術野の空間的センシングに関しては、深層学習によって3次元構造を推定する最新技術として、neural radiance fields (NeRF) の技術を適用し、open surgery (OS) における術野の3次元構造を推定して自由視点画像を生成する技術をOS-NeRFと称して提案した。これにより、外科医の頭などの障害物で記録されなかった視点の映像を復元することができたが、画質には改善の余地が見られた。
一人称視点映像に関しては、手術工程推定の技術を応用し、長尺の手術動画を任意の時間に自動で要約する技術を開発した。動画のうち有用なフレームで、かつ手術工程の多様性を考慮して各工程が満遍なく含まれるようにモデルを学習させた。Positive Rate、Negative Rate、Diversity and Inclusion Scoreの指標において、ランダムサンプリングの結果を大きく上回る結果を得た。数時間にもおよぶ動画の概要を短時間で把握できることは、多忙な外科医にとって有用である。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
研究実施計画の通りの成果が得られている。
|
| 今後の研究の推進方策 |
固定多視点術野映像による術野の空間的センシングについては、4D Gaussian splattingの技術を適用して、自由視点の映像を時系列で動かして視聴することについて取り組む。また、そのような映像をヘッド・マウンテッド・ディスプレーや、裸眼立体視が可能な空間再現ディスプレーで表示することについても取り組む。一人称視点映像については、外科医の協調的行動センシング技術の研究に取り組む。
|
