2022 Fiscal Year Annual Research Report
Gesture model and database construct for intaractive visualization of medical images in surgery
| Project/Area Number |
18K11454
|
|---|
| Research Institution | Fujita Health University |
|---|
Principal Investigator |
健山 智子 藤田医科大学, 医療科学部, 准教授 (90550153)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
陳 延偉 立命館大学, 情報理工学部, 教授 (60236841)
松本 慎平 広島工業大学, 情報学部, 教授 (30455183)
北上 始 広島工業大学, 情報学部, 教授 (50234240) [Withdrawn]
山岸 秀一 広島工業大学, 情報学部, 教授 (10609902) [Withdrawn]
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | ジェスチャ解析 / ジェスチャデータベース公開 / 深層学習 / 医用画像可視化支援 |
|---|
| Outline of Annual Research Achievements |
手術中における医用画像の効率的な可視化操作の実現を目指し， 本研究ではジェスチャ認識に基づくタッチレス医用画像可視化操作とそのシステム開発を行っている． 本研究ではジェスチャ取得にRGB-Dセンサーである Kinect V2 および Real sense を用いてカラー情報(RGB色空間)と深度情報(depth)情報を2取得し, 解析を行った． 従来のジェスチャ認識手法では， 画像解析と特徴解析に基づいて抽出した画像特徴量をもとに， 機械学習 （ 主に SVM ( Support Vector Machine ) など ） を用いてジェシチャの認識を行っていた． しかし， この方法では人手で画像特徴量を設計し， その設計に基づいたジェスチャ解析であった． 本研究では， 深層学習を導入し， ジェスチャの特徴抽出， 認識を一貫して行うことを達成した． 深層学習の導入により，特徴解析も自動で行うことから，精度向上だけでなく認識速度の向上も達成した．
また， これまでのジェスチャ解析は， カラー情報, depth情報のどちらかの情報に基づいての解析であった． カラー情報は手指領域の識別に重要な役割を担い， そしてdepth情報は奥行き情報を含んでいることから． 手指形状の重要な要素を含んでいる． これらの特徴を両者考慮することで， より高精度な解析が可能となる．本研究では， カラー情報とdepth情報を深層学習によって融合し， 特徴解析・分類を行った．本手法により精度を実現した． また，本研究ではジェスチャモデルとして３５種類のパターンを実現した．
|
