A Study on Dynamic Body Mark Generation for Ultrasound Diagnostic Support

2020 Fiscal Year Annual Research Report

• Project/Area Number: 17K18449
• Research Institution: Institute of Systems, Information Technologies and Nanotechnologies
• Principal Investigator: 吉永 崇 公益財団法人九州先端科学技術研究所, オープンイノベーション・ラボ, 特別研究員 (10598098)
• Project Period (FY): 2017-04-01 – 2021-03-31
• Keywords: AR / 超音波診断

Outline of Annual Research Achievements

超音波診断を行う際のプローブの位置や角度を記録し、ARなどを用いて可視化することで医学生や新米医師を支援する3Dボディマークシステムを実現する。そのための要素技術として、プローブの位置・姿勢推定システムおよび撮像支援情報の可視化技術に関する研究・開発を前年度に続き行った。
1.距離画像を用いたプローブの追跡--RGB-Dセンサを用いたプローブの位置・姿勢のシステムの開発を継続。従来システムで使用していたRGB-Dセンサの Kinect V2が生産中止になったことを受け、代替センサとしてAzure Kinectを用いたシステムを開発した。本システムで計測したプローブの位置・角度および断層像のうち必要なポイントを3Dボディマークとして記録する機能およびUIを開発した。さらに、プローブの位置・姿勢の記録だけでなく撮像環境を含むの3次元的な動きをPoint Cloudを用いた3D動画として記録するVolumetric Videoシステムの開発も継続した。
2.撮像情報の可視化--プローブの位置や姿勢を表示することによる撮像支援を実現するシステムの開発を継続。主にリアルタイムな断層像の重畳や、RGB-Dセンサで記録した撮像の様子をVolumetric VideoとしてHoloLens2に表示するための通信・AR可視化システムを実現した。