| 研究課題/領域番号 |
18K11454
|
|---|
| 研究機関 | 広島工業大学 |
|---|
研究代表者 |
健山 智子 広島工業大学, 情報学部, 助教 (90550153)
|
|---|
| 研究分担者 |
陳 延偉 立命館大学, 情報理工学部, 教授 (60236841)
松本 慎平 広島工業大学, 情報学部, 准教授 (30455183)
北上 始 広島工業大学, 情報学部, 教授 (50234240)
山岸 秀一 広島工業大学, 情報学部, 教授 (10609902)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2021-03-31
|
| キーワード | ハンドジェスチャパターンの決定 / ハンドジェスチャデータベース / 深層学習 / Kinect / 手指形状取得環境の構築 |
|---|
| 研究実績の概要 |
本年度は，初年度の研究として当初の予定どおり，Kinectから手指形状の取得ならびに取得すべきジェスチャの決定，ジェスチャ撮影環境の決定を行った．さらに，本研究では，取得されたジェスチャがどの形状であるか，を高精度に認識するためのデータベースを構成した．この構成されたデータベースは次年度の深層学習においても利用することを目的としており，初年度だけでなく，さらにデータ数を増やしていく．
ジェスチャ取得の環境は，Kinect V2を用いて正面と斜め上45度の静止画の2方向より，カラー画像とDepth画像（距離情報を画像の輝度値として表現する）の撮像を行った．また，ジェスチャの種類は，手のオープンをはじめ26パターンの種類を決定した．また，この撮像方法とは別で，Kinect V2と対象ジェスチャ間を正面のみ80cmとして，26種類のパターンでカラー画像とDepth画像の取得を行った．後者のジェスチャデータは，Kinect V2で撮像したジェスチャ間のデータにおける精度評価を行うこと，そして距離の違いからのジェスチャ推定の精度評価，撮像の精度評価が可能になる．この精度の評価について，手指形状を中心に顔形状も用いて，Kinect V2に対する計測精度の評価を行い，本研究のジェスチャデータの取得の確立とジェスチャデータベースの構築に進め，本課題の提案に対するDepthデータの取得・評価ならびにそのデータベースの有効性について解析を行った．2年目は，取得されたジェスチャデータを用いて実際に深層学習から手指形状の認識および環境の違いによる評価を行うことを予定している．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本年度の研究では，当初の計画に従い，手術空間上で３次元臓器形状モデルの可視化操作を行う際に，対話操作を実現するための手指形状情報の取得，収集，解析，ならびにそのジェスチャデータベース構築を行った．本年度は特に，ジェスチャデータの決定とその撮像方法，評価についてを検討でき，概ね順調に進展している．
手術空間での対話操作では，滅菌状態の維持ならびに機材持ち込みの状態を考慮すると，片手での対話操作実現は求められる．今回構築したジェスチャ情報は，すべて片手操作での実現が重要であり，本研究では，片手操作のジェスチャのパターンを考慮した26種類の決定を行った．
また，ジェスチャ取得における距離の精度についての調査が重要である．この評価を行うため，別で正面80cmにおいて情報を取得し，実データと取得データ間における精度の評価・解析，可視化解析を行った．
|
| 今後の研究の推進方策 |
本年度に構築したデータベースは，上45度そして正面からのジェスチャである．今後この横方向π/4, 3π/4に対して，データの取得を行う．また，今回の評価より，Kinect V2では，TOFによる深度情報の取得を行っている．同時に確認された遮蔽の影響などに対する検証も重要である．
また，取得・構築された手指形状のデータベースを用いて，深層学習による形状認識を行い，手術支援システムへの導入，そして，臨床現場での評価を行うことが重要である．
|
| 次年度使用額が生じた理由 |
分担者1名の初年度の分担金について，代表者と分担者間での共同研究打ち合わせにおける諸交通費などへの使用を予定していた．しかし，研究遂行にあたり，同じ学会への参加で打ち合わせを行うことができるなど，スムーズな打ち合わせを展開できたため，繰越金額が発生した．2年目は，さらなる共同の論文投稿を計画している．したがって，密な研究成果の打ち合わせならびに論文別刷りが必要であり，それに充てる．
|
