Abdominal Laparoscopic Surgery Support System Using Projection-based Augmented Reality
| Project/Area Number |
21K21304
|
|---|
| Research Category |
Grant-in-Aid for Research Activity Start-up
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
1002:Human informatics, applied informatics and related fields
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
Xie Chun 筑波大学, 計算科学研究センター, 研究員 (00913287)
|
|---|
| Project Period (FY) |
2021-08-30 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | 拡張現実 / 手術支援 / 画像処理 / 三次元センシング / 外科手術支援 / シースルー / 自由視点 / 腹腔鏡 |
|---|
| Outline of Research at the Start |
切開創を微小に抑えられる腹腔鏡手術が普及しつつあるが、習得の難しさや作業効率低下の課題が残っている。その原因の一つが既存のモニタを用いた情報提示である、映像を観察する視点と手術の様子を撮影するカメラの位置が離れていることや、カメラ視野が狭いことによって問題が生じている。
本研究は、腹腔鏡映像と投影型拡張現実技術（SAR）を利用し、開腹手術のような術野の見え方を実現するシステムを構築することで、腹腔鏡手術の作業効率向上を目指す。
本研究は以下二つの課題について取り組む。①術者位置及び患者の体表形状変化を考慮した映像生成手法、②腹腔鏡画像に基づいた体内三次元データの生成とカメラトラッキング。
|
| Outline of Final Research Achievements |
This research has developed a system that tracks laparoscopic scopes and surgical instruments, estimates the angles and depths of instruments inserted into the abdomen that are not visible from the laparoscope's imaging area, and displays them on the body surface with SAR(spatial augmented reality). By using three-dimensional shapes and projector positions, we can correct projection distortions and provide surgeons with geometrically consistent images. We have also proposed a method for constructing three-dimensional models of bones using widely used and relatively inexpensive C-Arm fluoroscopy equipment. Furthermore, we have proposed a surgical support system that records surgical procedures using a multi-view (bullet-time) filming system and switches to the optimal viewpoint as needed.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究が構築したシステムはSARによる腹腔鏡手術支援技術やアプリケーションの開発、評価の基盤となり、医療メディア分野において新たな知見の創出を導く。また、腹腔鏡手術のみならず、他の内視鏡カメラを経由して術野を観察する手術への応用も期待される。また、提案した多視点映像システムは若手医師の育成効率の向上に有用である。さらに、C-Arm透視装置を使用した３次元復元方法は、手術中に骨の３次元モデルを生成し、術前計画との比較により迅速の手術評価が可能となり、医療効率の向上に貢献した。
|
Report
(3 results)
Research Products
(12 results)
