術者のコツと経験則を拡張現実を用いて共有するシステムの開発
| Project/Area Number |
21K09810
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 56070:Plastic and reconstructive surgery-related
|
|---|
| Research Institution | Japanese Foundation for Cancer Research |
|---|
Principal Investigator |
矢野 智之 公益財団法人がん研究会, 有明病院 形成外科, 部長 (40537304)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
荒船 龍彦 東京電機大学, 理工学部, 教授 (50376597)
辛川 領 公益財団法人がん研究会, 有明病院 形成外科, 副医長 (60802171)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000)
Fiscal Year 2021: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
|
|---|
| Keywords | 乳房再建 / プロジェクションマッピング / Augmented reality / 術中支援 / 対称性 / 3D画像 / 拡張現実 / 3Dイメージ |
|---|
| Outline of Research at the Start |
乳房再建、頭頸部再建、外傷や先天性疾患などの顎顔面領域の成果を決める対称性の獲得、失われた形態の再現は術者のコツと経験に依存している。手術操作による3D形状差分の変化を撮影-蓄積-解析-投影が簡便にできる装置としてパッケージ化することで、1つの手術に対して3次元データおよび差分解析データとして対称性の獲得、失われた形態の再現の過程をステップごとに解析、記録、プロジェクターもしくは拡張現実で共有できる一体型装置を開発する。このような暗黙知データの蓄積・解析とその共有は過去に行なわれておらず、暗黙知のAI 解析、将来的なロボット手術の自動化の教師データになる可能性まで想定している。
|
| Outline of Annual Research Achievements |
今回の研究実績の概要は次の2点にまとめられる。１つ目が、形状差分情報の処理におけるリアルタイム形状差分情報提示手法の実装である。もう１つが、Augumented reality (AR)を用いた、形状表示方法の実装である。まず前者であるが、先行して行なっていた研究では、患者の乳房形状を術中に計測し、3Dデータクレンジングを行なった後に形状差分情報を計算していた。それを元に、プロジェクションマッピング用の投影を作成し、体表への投影レジストレーションを経て、患者体表に差分情報として投影していた。このシステムでは形状差分情報を体表へのカラーマップとして定量的に術者へ提示できる反面、画像処理に時間がかかり、実際の計測から投影までのタイムラグが多く、手術を行なっている医師を待たせるという問題があった。またソフトウェアの操作が煩雑で習熟が必要という点が課題として残っていた。これを改善する手法として、今回の研究実績では、患者体表の画面上で一度正中線を指定すると患者の健側乳房を再建側に左右反転処理し、再建乳房との形状差分情報を自動で計算し、リアルタイムで即座に左右乳房の形状差分情報を導出できるものとした。これにより再建手術における再建乳房の変化を逐一、術者に提示可能となり、また撮影から情報提示までの待ち時間を大幅に短縮できるようになった。もう一つが、これらの情報の提示手段としてプロジェクションマッピングだけでなく、一般的に販売されているタブレット端末を用いたAR表示の実装を行なった。患者体表にレジストレーションマーカーを置き、それをもとにタブレットのカメラ画像に差分情報等の再建乳房情報を表示させるものである。またマイクロソフト社が販売しているHolo Lensを用いた表示方法についても表示可能なことを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
依然として該当年度においては、新型コロナウイルス感染症の第6波、第7波の影響で、病院への診療への影響が強く、また外部からの人の立ち入りについても強い制限が課されていた。そのために、臨床研究として行なう症例のリクルートや、特に外部から共同研究者を院内に入れて実施することが非常に困難となり、遅れが生じた。一方で、新型コロナウイルス感染症も3年目となっていたために、このことは予測済みであり、そのような状況下でも行なえる必要最低限の臨床研究の実施を行なうことはできた。積極的にオンラインミーティングを活用し、臨床研究の実施についてもバックアッププランなど綿密な予定を組んだ。そうした対応を行なっても、突然の該当患者におけるコロナウイルス濃厚接触者認定等により入院、手術の急遽取り止めなどは避けられなかった。結果として、やや遅れているという判断とした。
|
| Strategy for Future Research Activity |
最終年度に入り新型コロナウイルス感染症の罹患率が著明な減少を示し、本年度は患者のリクルート、症例の確保を含めた臨床研究の遂行が従来よりも行いやすくなることが予想されている。院内への外部協同研究者の立ち入りも緩和されてきている。これにより対面でのミーティングの遂行、プロトタイプの共同作成がより容易になり、推進しやすくなると考えている。
|
Report
(2 results)
Research Products
(14 results)
