2022 Fiscal Year Final Research Report
Gesture model and database construct for intaractive visualization of medical images in surgery
| Project/Area Number |
18K11454
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Fujita Health University (2022)
Shiga University (2020-2021)
Hiroshima Institute of Technology (2018-2019) |
|---|
Principal Investigator |
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
陳 延偉 立命館大学, 情報理工学部, 教授 (60236841)
松本 慎平 広島工業大学, 情報学部, 教授 (30455183)
北上 始 広島工業大学, 情報学部, 教授 (50234240)
山岸 秀一 広島工業大学, 情報学部, 教授 (10609902)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | ジェスチャ解析 / ジェスチャデータベース構築 / RGB-Dセンサ / 深層学習 / 医用画像可視化操作 |
|---|
| Outline of Final Research Achievements |
In this study, we developed the touch-less interactive system for visualization medical images based on gesture recognition using RGB-D sensors in an simulated surgery environment.
The gestures constructed in this study consisted of 25 different gesture types, which were observed from the front and from the upper 45-degree frontal direction, and which were simultaneously acquired in terms of color and depth information. Then, the dataset was published as the MaHG-RGBD database. In addition, for more efficient and accurate gesture analysis, we adopted deep learning to perform more detailed feature analysis and recognition.
|
| Free Research Field |
知覚情報処理
|
| Academic Significance and Societal Importance of the Research Achievements |
公開したMaHG-RGBDデータベースには，取得されたカラー画像から生成した擬似Depth情報も含まれており，RGB-Dセンサーが存在しない環境でもDepth情報を構成することが可能となっている．さらに，このデータベースを公開することで，今後のジェスチャ解析にも広く利用されることは社会的意義は高い．
また，ジェスチャ認識では，深層学習を導入することで，高精度かつ効率的なジェスチャ認識が可能になった．この研究遂行で，我々は新たにカラーとDepthの融合によるマルチモダリティなジェスチャ解析へ展開した．今後，種々のデータ融合は学術的に期待されている．本成果はより多くの分野で展開が可能である．
|
