術者のコツと経験則を拡張現実を用いて共有するシステムの開発
| Project/Area Number |
21K09810
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 56070:Plastic and reconstructive surgery-related
|
|---|
| Research Institution | Japanese Foundation for Cancer Research |
|---|
Principal Investigator |
矢野 智之 公益財団法人がん研究会, 有明病院 形成外科, 部長 (40537304)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
荒船 龍彦 東京電機大学, 理工学部, 教授 (50376597)
辛川 領 公益財団法人がん研究会, 有明病院 形成外科, 副医長 (60802171)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000)
Fiscal Year 2021: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
|
|---|
| Keywords | 乳房再建 / プロジェクションマッピング / Augmented Reality / 術中支援 / Augmented reality / 対称性 / 3D画像 / 拡張現実 / 3Dイメージ |
|---|
| Outline of Research at the Start |
乳房再建、頭頸部再建、外傷や先天性疾患などの顎顔面領域の成果を決める対称性の獲得、失われた形態の再現は術者のコツと経験に依存している。手術操作による3D形状差分の変化を撮影-蓄積-解析-投影が簡便にできる装置としてパッケージ化することで、1つの手術に対して3次元データおよび差分解析データとして対称性の獲得、失われた形態の再現の過程をステップごとに解析、記録、プロジェクターもしくは拡張現実で共有できる一体型装置を開発する。このような暗黙知データの蓄積・解析とその共有は過去に行なわれておらず、暗黙知のAI 解析、将来的なロボット手術の自動化の教師データになる可能性まで想定している。
|
| Outline of Annual Research Achievements |
本年度は得られた乳房形態差分情報の視認性の改善という課題に取り組んだ。我々がこれまで開発したソフトウェアでは得られた乳房形態の3次元画像に対して、左右差の計測開始時に画面上で一度正中線を指定すると、3次元画像取得センサで取得した深度情報から平行移動、回転といったアフィン変換を行い、左右反転、形状差導出の順で処理を自動で行い、リアルタイムで左右乳房の形状差情報を導出するというものであった。また指定した座標の周囲9ピクセルの形状差の平均値を算出することでノイズを軽減した形状差を算出していた。
これにより滑らかな差分に応じた色調マップを作成することができるようになったが、視認性の問題が明らかとなった。術者が手術中に差分情報を左右差のない乳房再建のために参照する場合、滑らかな色調変化が必ずしも視認性の向上にはつながらないことがわかった。つまり色調段階として25段階と256段階を比較すると、256段階のほうが明らかに差分情報の色調マップとしては明らかに滑らかではあるが、その差が逆に術者にとってわかりにくいものであることがわかった。さらに深度情報をどこまで採用し、表示するかという点でも視認性への影響があることがわかった。そこで深度情報として100mm、200mmでの差分情報をテストし、25段階、256段階色調と組み合わせ、これを自動解析プログラムに組み込むことで、視認性の高い差分情報提示の仕組みを完成させた。
また実際の術野においては、患者の体が奥行きの観点で斜めになる、つまり左右乳房位置の奥行きがことなるために、それが差分データに影響を与える可能性が示唆された。これを解決するためにレーザーを用いた、適正距離の照射ガイドも作成し、これを3次元画像取得センサの台座に搭載する装置も完成させた。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本申請においては、3次元画像データの取得、パソコンで行なう形状差分情報の解析および3次元画像投影装置を１つのパッケージとする筐体のプロトタイプ作成までを目指していた。従来はこれらをバラバラで行なっており、手持ちの省電力TOFセンサ3台を固定する台座を手持ち、もしくはクレーンで保持して3次元画像の取得を行い、その後ケーブル接続したパソコンを用いて形状差分データの解析と投影データの作成を行なっていた。その後に得られた投影用形状差分データをクレーで保持したプロジェクターにパソコンを接続して投影していた。このフローでは、3次元画像取得および形状差分データの体表投影の際に、画像の取得や投影において手ブレや不安定性があり、また実際の手術場で行なう際に、手術清潔野の汚染のリスクという問題があった。この問題を解決するために、これらの装置の一体型筐体のプロトタイプを作る予定であった。他の解決すべき課題の優先順位が高かったために、こちらに着手することができなかった。本年度はこの一体型筐体のプロトタイプの作成を優先的に行なう形で動いている。この観点から、申請課題の解決内容のうちの１つが未着手であったために「やや遅れている」という判断とした。
|
| Strategy for Future Research Activity |
今後は形状差分情報のデータ処理の自動化、リアルタイム処理といったソフトウエアの面での解決課題がほぼ解決したために、3次元画像データの取得、パソコンで行なう形状差分情報の解析および3次元画像投影装置を１つのパッケージとする筐体のプロトタイプ作成といったハードウエアという課題に取り組む。
|
Report
(3 results)
Research Products
(20 results)
