2020 Fiscal Year Research-status Report
手術中における医用画像の可視化操作のためのジェスチャモデル構築とデータベース公開
| Project/Area Number |
18K11454
|
|---|
| Research Institution | Shiga University |
|---|
Principal Investigator |
健山 智子 滋賀大学, データサイエンス学部, 准教授 (90550153)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
陳 延偉 立命館大学, 情報理工学部, 教授 (60236841)
松本 慎平 広島工業大学, 情報学部, 准教授 (30455183)
北上 始 広島工業大学, 情報学部, 教授 (50234240) [Withdrawn]
山岸 秀一 広島工業大学, 情報学部, 教授 (10609902) [Withdrawn]
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | ジェスチャ解析 / 医用画像可視化支援 / 手指形状解析 / 深層学習 / ジェスチャデータベース構築 |
|---|
| Outline of Annual Research Achievements |
本研究では，平成30年度および令和元年度に行った研究を継続して，タッチレス医用画像可視化操作支援のための手指形状ジェスチャ解析とそのデータベース構築を行った．また，この手指形状ジェスチャ解析のためのデータ取得は，kinect V2(RGB-Dセンサー)，およびReal senseを用いてカラー情報（RGB色空間）と深度情報（depth）情報を行い，解析およびデータベースの構築を行った．
デバイスやAPIに準ずるジェスチャの種類は，いわゆる「じゃんけん」の形状の３パターンが主である．滅菌状態を保持した手術室や臨床治療現場では，デバイスとの接触を回避が必要であり，そのため，非接触（タッチレス）な医用画像の可視化操作が求められる．この医用画像可視化操作を柔軟に行うためには，より多様な手指形状ジェスチャからの操作指令を構成することが重要である．本研究では，このデータ整備として，25パターンの手指形状ジェスチャの定義を行い，データベース構築を行った．
深層学習では，当初はCNNなどの基本的な学習からスタートし，一定の成果を得ることができた．しかし，Kinect v2の開発終了がのため，その他の民生用デバイスの導入などが求められる．そこで，他のデバイスなどでもデータ取得が可能となるよう，カラー画像からDepth画像の生成を取得する，手指形状のジェスチャ解析を深層学習によって行った．この手法により，異なったデバイス間でもジェスチャ認識や操作の対応が可能になった．
さらに現在，よりロバストなジェスチャ解析を目指している．これまで，研究で取り扱ってきたジェスチャは，おもに静止情報を用いて解析を行ってきた．しかし，実際の操作では，動的ジェスチャが求められる．本研究ではこの課題に対応すべく，動的ジェスチャ解析に取り組んでいる．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，平成30年度および令和元年度の研究を継続し，医用画像可視化操作支援のための手指形状ジェスチャ解析とそのデータベース構築を行った．さらに，収集されたジェスチャデータを用いて深層学習に基づいて認識を行う研究を行った．従来法では，画像解析手法からの特徴抽出に基づいて形状解析に主成分分析による次元圧縮を経て，機械学習法のSupport Vector Machine（SVM）に従って，手指形状認識を行っていたが，この手法では，膨大な時間と計算コストを学習で要する．この解決として，初年度は，深層学習に基づいて，特徴量の解析を直接行い，認識を行うことで，ロバストでかつリアルタイム性を向上させた．この結果では，ジェスチャ解析がおおよし95%へ到達した．
この結果と進捗を踏まえ，さらに，RGB画像からのDepth情報の推定などに着手した．Kinect v2の開発終了がのため，その他の民生用デバイスの導入などが求められる．このような課題克服を目指し，深層学習からDepth情報の推定を行った．本手法により，異なったデバイス間でもジェスチャ認識や操作の対応が可能になった．
これまでの研究成果では，おもに，静止画像を用いたジェスチャ解析を行っていが，応用現場では，動的ジェスチャ解析が求められるので，さらに動的情報に対応すべく，動的ジェスチャ解析のデータベース構成とその解析を今年度は取り組んだ．
|
| Strategy for Future Research Activity |
令和2年度は，新型コロナウイルスの影響のため，実際の医師からの検証データが非常に不足している．そのため，どうしても延長申請が必要となり，令和３年度は令和２年度の研究計画に基づき，いくつかの学会，学術論文での本研究の成果発表を行うことを計画している．
当初の予定であった，Kinect v2 の複数方向からのジェスチャ取得などについて，現在継続して進めているが，今日，深層学習の目覚ましい発展において，複数のデバイスからの取得ではなく，単一デバイスからでも十分な３次元形状が構成可能であることが，研究遂行より確認された．ただし，より詳細な検証のためにも，複数方向からの情報取得も必要であるので，検証情報として継続して進めう．
さらに，臨床医からの意見のフィードバックを継続して進める．
|
| Causes of Carryover |
令和2年度は，新型コロナウイルの影響があったため，予定していた共同研究での対面打ち合わせや対外発表などがすべてキャンセルとなった．
そのため，令和3年度に本研究の延長を申請し，令和2年度に予定していた，研究打ち合わせや学会発表などでも発表し，本研究の対外発表を広げる．
|
Research Products
(12 results)
