2016 Fiscal Year Research-status Report
患者に特化した手術支援のための血管構造解析とそのハンズフリー対話可視化操作の開発
| Project/Area Number |
15K16031
|
|---|
| Research Institution | Hiroshima Institute of Technology |
|---|
Principal Investigator |
健山 智子 広島工業大学, 情報学部, 助教 (90550153)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | タッチレスジェスチャ / 手術支援 / kinect Depth Sensor / 医用画像可視化操作 |
|---|
| Outline of Annual Research Achievements |
申請内容の2年目計画をもとに，タッチレスデバイスに対するインタラクション機能に重点をおき，研究を進めてきた．その概要は以下の通りである．
1.タッチレスデバイスからのジェスチャ認識
2.可視化システムへの計算解剖モデルの提示とその可視化システム構築
1.の課題において，昨年度からの機械学習に対し，より高精度化を図ることを目的として，手指形状認識のためのデータベース化を図った．女性4名，男性5名，手指動画も100数例増やすなどを行った結果，手指形状の認識は87％以上の精度を認識し，効率的なジェスチャ認識を導入できることについて，提示した．本年度は新たに動画像に対する評価手法などについても提案し，報告した．2.のシステム構築では，手術支援システムのための可視化システムを導入した．L字スクリーン上に立体可視化手法にもとづいて，医用画像から得られた人体臓器の3次元可視化モデルを提示することを可能にし，そのモデルをタッチレスデバイスから得られたジェスチャから可視化操作を行うシステムを構築した．このシステム上で，先行研究と同様の可視化操作を実現した．
また，本年度は．論文２本，国際学会１件，国内学会（査読あり）１本，国内学会3件，招待講演１件の報告を達成した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
申請における２年目の計画に基いて，タッチレスデバイスに対するインタラクション機能の充実を目指していた．
「.タッチレスデバイスによる手術支援のためのジェスチャ操作」では，Kinectにて認識するためのジェスチャの種類，またそれぞれのジェスチャに対する精度向上を目指した．手法として，Kinectから得られたDepth画像を直接２次元画像からジェスチャの特徴量を取得し，SVMによって認識を行った．しかし，得られたDepth画像をそのまま用いると，少数のジェスチャ情報に対し膨大な特徴量となり汎化能力のないジェスチャ認識となるため，事前に主成分分析を行ってより汎化能力の高いモデルを構築した．また，データベースの充実性では，手指形状認識のためのデータベース化を図った．女性4名，男性5名，手指動画も100数例増やすなどを行った結果，手指形状の認識は87％以上の精度を認識し，効率的なジェスチャ認識を導入できることについて，提示した．本年度は新たに動画像に対する評価手法などについても提案を進めていき，手術現場での検証を計画している．
また，「可視化システムへの計算解剖モデルの提示とその可視化システム構築」では，手術支援システムのための可視化システムを導入した．大型L字スクリーン上に立体可視化手法にもとづいて，医用画像から得られた人体臓器の3次元可視化モデルを提示させ可能にし，そのモデルを先述のタッチレスデバイスから得られたジェスチャから可視化操作を行うシステムを構築した．このシステム上で，先行研究と同様の可視化操作を実現した．このシステムについて，主観評価を行ったところ，没入感，臨場感の高い，臓器モデルが操作できるとの評価が得られた．また，同時に臓器モデルの色提示や場所設置などにおける問題など，今後の研究課題も同時に得られた．
|
| Strategy for Future Research Activity |
２９年度では，以下の内容について研究を行う．
１. タッチレス可視化操作のデザインをより改善する．現在，肝臓臓器モデルの回転，肝臓実質モデルの透過調整，血管情報の可視化切り替えなどの操作をメインに行ってきた．今後はより臨床現場で有用な可視化操作を導入し，臨床現場でも有用なシステムを目指す．そのためには，臨床医との連携から手術支援を目指す．
２. 血管構造解析について，十分な精度を高める必要がある．そのためには血管情報について，十分な統計情報の取得も重要である．今後，より多くの医療機関とも連携しながら，臓器情報ならびに血管構造解析に必要な医用画像（CT画像）を取得し，解析を行う．また，現行の手法をより医師の「目」として近い解析をおこなうため，深層学習に基づく血管構造解析にも取り組む．
３. システム開発では，現行のシステムに対して，より臨場感の高い「手術空間」を目指し，現場の臨床医とも相談しながら可視化システムの改善を目指す．
|
