Development of Probe Tracking System Uising Depth Image

2016 Fiscal Year Annual Research Report

• Project/Area Number: 25730126
• Research Institution: Institute of Systems, Information Technologies and Nanotechnologies
• Principal Investigator: 吉永 崇 公益財団法人九州先端科学技術研究所, その他部局等, 研究員 (10598098)
• Project Period (FY): 2013-04-01 – 2017-03-31
• Keywords: 計測 / 超音波診断

Outline of Annual Research Achievements

超音波診断における撮像を支援する情報をARやVRで提示するための要素技術として、プローブの位置・姿勢計測システムの開発に取り組んだ。本研究では安価・簡便な計測システムを実現することを目指し、空間の3次元形状と色情報を同時に取得できる市販のRGB-Dセンサを使用して計測を行うことを試みた。まず、RGB-Dセンサで得られる空間全体の情報からプローブを認識するため、カラー画像(RGB)に対する画像処理によるプローブ周辺領域の絞り込みを行った。その後、奥行画像(Depth)を3次元空間に展開したデータ(PointCloud)を用いた位置・姿勢推定を行った。
位置・姿勢計測の際、プローブの大部分がRGB-Dセンサから見えている場合はその結果が概ね安定していたが、体表への押し込みによってプローブの大部分が隠れた場合は推定が困難となった。最終的に位置の推定の安定化に関しては課題が残ったものの、姿勢の推定に関してはジャイロなどの慣性センサを併用することで問題を解決できた。さらに、RGB-Dセンサを用いて患者体表の3形状を取得・可視化する機能も試作した。腹部ファントムを用いて可視化を行った結果、一般的に用いられるカメラ画像と異なり患者と撮像断面の相対関係を任意の角度で観察することが可能になった。今後、位置推定における問題点を解決することができれば、可視化システムと統合することでプローブの位置・姿勢に基づいた撮像支援情報を3次元的に提示するナビゲーションシステムの実現が可能となる。