研究課題/領域番号 |
22H03617
|
研究種目 |
基盤研究(B)
|
配分区分 | 補助金 |
応募区分 | 一般 |
審査区分 |
小区分61010:知覚情報処理関連
|
研究機関 | 慶應義塾大学 |
研究代表者 |
梶田 大樹 慶應義塾大学, 医学部(信濃町), 特任助教 (30723267)
|
研究分担者 |
斎藤 英雄 慶應義塾大学, 理工学部(矢上), 教授 (90245605)
杉本 麻樹 慶應義塾大学, 理工学部(矢上), 教授 (50517399)
青木 義満 慶應義塾大学, 理工学部(矢上), 教授 (00318792)
|
研究期間 (年度) |
2022-04-01 – 2025-03-31
|
研究課題ステータス |
交付 (2023年度)
|
配分額 *注記 |
17,420千円 (直接経費: 13,400千円、間接経費: 4,020千円)
2023年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
2022年度: 7,020千円 (直接経費: 5,400千円、間接経費: 1,620千円)
|
キーワード | 手術動画 / open surgery |
研究開始時の研究の概要 |
手術動画を解析し、安全で質の高い医療を目指すうえで、外科医の手元を撮影し続けることは困難であった。慶應義塾大学は術野を多視点で撮影するマルチカメラ無影灯を開発し、この課題を解決した。さらに一人称視点での撮影も含め多数の手術映像を記録して、多視点映像の自動選択や、一人称視点映像の自動要約技術に関する成果を挙げてきた。ただし従来は、これら異なるモダリティの映像が個別に用いられていたため、センシングされる行動の粒度や継続性等の限界が存在した。 本研究では、実際の手術を対象とした固定多視点・執刀医視点・助手視点という異なる視点映像の統合解析を実現し、詳細な外科医の行動センシング技術の確立を目指す。
|
研究実績の概要 |
本研究の目的は、実際の手術室の環境下において、外科医の行動や患部の状態をセンシングし、異常の早期発見や医療者へのフィードバックを行う技術の開発に貢献することである。 令和4年度には74件の手術で動画を撮影し、一部の動画については術具や手術工程のアノテーションを施すことで、本研究に活用できるデータセットを拡充した。 固定多視点術野映像による術野の空間的センシングとして、Plane-Sweepアルゴリズムによって術野の奥行きに応じたmultiplane images (MPI)を作成した。このとき、無影灯は手術中に移動させられる場合があり、動画中の多フレームの特徴点を利用することで、チェッカーボード等を用いずともカメラキャリブレーションが実施できる技術を開発して対応した。また、動画に患者の顔が映る際には、目や鼻を自動でモザイク処理する匿名加工技術を開発した。 一人称視点手術動画を対象としては、術野に映る生体組織をセマンティック・セグメンテーションによって検出し、その面積の大きさをもとに、手術の工程を推定する技術を開発した。また術具の情報も併せて利用することで、その精度を向上させた。手術工程の推定に際しては、行動分類タスクに特化したTransformerベースのモデルであるASFormerを応用したところ、accuracy 78%、F1スコア73%の精度で工程を認識することができ、従来手法より14%も上回る結果を得た。
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
研究実施計画の通りの成果が得られている。
|
今後の研究の推進方策 |
固定多視点術野映像による術野の空間的センシングについては、深層学習によって3次元構造を推定する最新技術として、neural radiance fields (NeRF) の技術を適用することについて検討する。また外科医の頭などの障害物で記録されなかった視点の映像を復元する技術の開発にも取り組む。一人称視点映像については、外科医の協調的行動センシング技術の研究に取り組む。また引き続き手術映像を対象としたプライバシー保護技術の開発にも取り組む。さらに動画要約の技術を適用して、視聴者が求める場面のシーンを自動で切り出して要約動画を作成する技術の開発に取り組む。
|