| 研究課題/領域番号 |
23K24873
|
|---|
| 補助金の研究課題番号 |
22H03617 (2022-2023)
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 基金 (2024)
補助金 (2022-2023) |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61010:知覚情報処理関連
|
|---|
| 研究機関 | 慶應義塾大学 |
|---|
研究代表者 |
梶田 大樹 慶應義塾大学, 医学部(信濃町), 講師(非常勤) (30723267)
|
|---|
| 研究分担者 |
斎藤 英雄 慶應義塾大学, 理工学部(矢上), 教授 (90245605)
杉本 麻樹 慶應義塾大学, 理工学部(矢上), 教授 (50517399)
青木 義満 慶應義塾大学, 理工学部(矢上), 教授 (00318792)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
17,420千円 (直接経費: 13,400千円、間接経費: 4,020千円)
2024年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
2023年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
2022年度: 7,020千円 (直接経費: 5,400千円、間接経費: 1,620千円)
|
|---|
| キーワード | 手術動画 / open surgery |
|---|
| 研究開始時の研究の概要 |
手術動画を解析し、安全で質の高い医療を目指すうえで、外科医の手元を撮影し続けることは困難であった。慶應義塾大学は術野を多視点で撮影するマルチカメラ無影灯を開発し、この課題を解決した。さらに一人称視点での撮影も含め多数の手術映像を記録して、多視点映像の自動選択や、一人称視点映像の自動要約技術に関する成果を挙げてきた。ただし従来は、これら異なるモダリティの映像が個別に用いられていたため、センシングされる行動の粒度や継続性等の限界が存在した。
本研究では、実際の手術を対象とした固定多視点・執刀医視点・助手視点という異なる視点映像の統合解析を実現し、詳細な外科医の行動センシング技術の確立を目指す。
|
| 研究実績の概要 |
本研究の目的は、実際の手術室の環境下において、外科医の行動や患部の状態をセンシングし、異常の早期発見や医療者へのフィードバックを行う技術の開発に貢献することである。
令和5年度には外科医の注視情報付きの一人称視点手術動画21本について、9クラスの手術工程のアノテーションを施し、31時間に及ぶデータセットを作成した。
固定多視点術野映像による術野の空間的センシングに関しては、深層学習によって3次元構造を推定する最新技術として、neural radiance fields (NeRF) の技術を適用し、open surgery (OS) における術野の3次元構造を推定して自由視点画像を生成する技術をOS-NeRFと称して提案した。これにより、外科医の頭などの障害物で記録されなかった視点の映像を復元することができたが、画質には改善の余地が見られた。
一人称視点映像に関しては、手術工程推定の技術を応用し、長尺の手術動画を任意の時間に自動で要約する技術を開発した。動画のうち有用なフレームで、かつ手術工程の多様性を考慮して各工程が満遍なく含まれるようにモデルを学習させた。Positive Rate、Negative Rate、Diversity and Inclusion Scoreの指標において、ランダムサンプリングの結果を大きく上回る結果を得た。数時間にもおよぶ動画の概要を短時間で把握できることは、多忙な外科医にとって有用である。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
研究実施計画の通りの成果が得られている。
|
| 今後の研究の推進方策 |
固定多視点術野映像による術野の空間的センシングについては、4D Gaussian splattingの技術を適用して、自由視点の映像を時系列で動かして視聴することについて取り組む。また、そのような映像をヘッド・マウンテッド・ディスプレーや、裸眼立体視が可能な空間再現ディスプレーで表示することについても取り組む。一人称視点映像については、外科医の協調的行動センシング技術の研究に取り組む。
|
