2019 Fiscal Year Research-status Report
手術中における医用画像の可視化操作のためのジェスチャモデル構築とデータベース公開
| Project/Area Number |
18K11454
|
|---|
| Research Institution | Hiroshima Institute of Technology |
|---|
Principal Investigator |
健山 智子 広島工業大学, 情報学部, 助教 (90550153)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
陳 延偉 立命館大学, 情報理工学部, 教授 (60236841)
松本 慎平 広島工業大学, 情報学部, 准教授 (30455183)
北上 始 広島工業大学, 情報学部, 教授 (50234240) [Withdrawn]
山岸 秀一 広島工業大学, 情報学部, 教授 (10609902) [Withdrawn]
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | ジェスチャ解析 / 深層学習 / データベース構築 / RGB-Dセンサ |
|---|
| Outline of Annual Research Achievements |
本研究では，初年度の研究に継続し，医用画像可視化操作支援のためのジェスチャ解析とデータベース構築，そして収集されたデータを用いて深層学習にもとづくジェスチャ認識についての研究を行った．ジェスチャ認識のデータは，Kinect V2（RGB-Dセンサー）によるカラー（RGB）画像およびその深度（Depth）画像を用いて取得した．そのジェスチャの種類は前年度と同様の25種類である．
本研究の従来法では，これまで，物体の形状変化をロバストに表現するHOG特徴量（Histgram of Oriented Gradients：任意の注目領域における色，明るさの変化方向に対するヒストグラムの特徴量）と主成分分析による形状記述，分類手法(SVMなど)による学習を経てジェスチャモデルの構築・評価を行ってきた．しかし，HOG特徴量の抽出などは膨大でかつ複雑な画像処理・時間が要求されることが課題であった．手術空間で得られたジェスチャ情報を直接認識し，提示することは，手術現場で臨床執刀医の要求通りの医用画像可視化操作をリアルタイムで実現することに貢献する．本研究では，これまでのHOG特徴量とSVM分類手法によるジェスチャ解析の問題点を克服するため，深層学習を導入することで，手術現場で取得したジェスチャ情報から直接特徴量・認識を行うことで，高精度なジェスチャ認識と従来法における処理時間の改善を行った．さらに，本研究の成果を踏まえ，様々な分野へ応用を行った．例えば，Kinect V2を用いた顔面浮腫の3次元形態変化観測と可視化による診断支援への開発，深層学習を用いた画像特徴の解析についても行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度の研究では，初年度の研究から継続し，3次元空間上で臓器形状の可視化操作を行う際に，対話操作を実現するための手形状（ジェスチャ）情報の取得，収集を行った．さらに収集されたデータに対し，深層学習を用いてジェスチャ認識について行った．従来のジェスチャ解析では，形状記述をHOG特徴量と主成分分析で解析を行っていたが，この特徴量を深層学習を用いて直接行い，認識することで，よりロバストでかつリアルタイム性の向上が見られた．ジェスチャ認識精度はおおよそ９５％を達成した．
また，本年度は，本研究における成果を利用し，ジェスチャを手指形状の認識だけでなく，3次元のポーズ認識についても行った．Kinect V2は，民生用デバイスでありながらも深度情報だけでなく，カラー情報も取得できることから，2次元XY座標に対し，深度情報のZ情報をプロットしたポーズ推定，さらには，顔面形態の3次元変化を詳細に観測し，疾患診断支援のシステムにも応用・展開を行い，本研究の有効性を提示した．
しかし，ジェスチャ解析やKinect V2を用いた形状認識において，当初の予定である，複数のKinect V2 を接続し，多方向からのジェスチャ取得が不十分である．Kinect V2は一つの計算機に一つのデバイスのみの接続である．そのため，Kinect v2以外のデバイスの導入，これまで構成したデータベースの情報をそのまま利用できる手法についての検討も本研究において，必要である．
|
| Strategy for Future Research Activity |
最終年度は，いくつかの学会，学術論文において公表を検討している．
現在，本研究の当初の予定であった，Kinectを複数接続し，多方向からのジェスチャ情報の取得・解析・認識には十分な成果として至っていない．これは，Kinect v2そのものが，一つの計算機に一つのデバイスのみの接続という条件になっているためであり，Kinect v2以外のデバイスの導入，もしくは，Kinect V2と新たなRGB-Dデバイスの複合により，より多方向，そして複数のデバイス間でもロバストにジェスチャ認識が可能なシステム開発が求められる．
現在，Kinect V2に対し，Real senseなどの導入を計画し，検討している．さらに，臨床医の意見に基づくフィードバックをすすめる．
|
| Causes of Carryover |
研究分担者2名において，研究遂行にあたり計画していた予算執行とならなかったため，残額が生じた．最終年度にその金額をデータベース精度構成に向けて行う．
|
