| 研究課題/領域番号 |
18K11454
|
|---|
| 研究機関 | 滋賀大学 |
|---|
研究代表者 |
健山 智子 滋賀大学, データサイエンス教育研究センター, 准教授 (90550153)
|
|---|
| 研究分担者 |
陳 延偉 立命館大学, 情報理工学部, 教授 (60236841)
松本 慎平 広島工業大学, 情報学部, 教授 (30455183)
北上 始 広島工業大学, 情報学部, 教授 (50234240) [辞退]
山岸 秀一 広島工業大学, 情報学部, 教授 (10609902) [辞退]
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2023-03-31
|
| キーワード | ジェスチャ解析 / 医用画像可視化支援 / 手指形状解析 / 深層学習 / ジェスチャデータベース構築 |
|---|
| 研究実績の概要 |
手術中における医用画像の可視化操作のためのジェスチャモデル構築とデータベース公開として，本研究では，2018年度より継続して研究を行っている．ジェスチャはこれまで，kinect V2(RGB-Dセンサー)，およびReal senseを用いてカラー情報（RGB色空間）と深度情報（depth）情報を25種類取得し，解析およびそのデータベースの構築を行っている．従来は，取得されたがカラー情報，depth情報のどちらかの情報に基づいての解析であったが，カラー画像はもちろんだが，depth情報は奥行き情報を含んでいることから，手指形状解析ではその奥行きでより高精度な解析が可能となる．ゆえに，カラー情報とdepth情報の融合は重要である．また，ジェスチャの学習・認識手法では，これまで，画像解析と特徴解析に基づいて抽出した画像特徴量をSVM(Support Vector Machine)などの機械学習の分類器を用いて，ジェスチャの認識・推定を行っていたが，画像からの特徴量を抽出するために，人手で任意で特徴抽出を設計し，その設計に基づいたジェスチャ認識であった．
本研究では，上記の課題克服として，①カラー情報とdepth情報の融合によるジェスチャ解析，②深層学習を用いたジェスチャの特徴の自動抽出・認識を行った．研究成果として，より高度なジェスチャ解析と高速なジェスチャ認識が可能となった．さらに，25種類のジェスチャをデータベースとして収集・整備を行い，よい複雑なジェスチャ解析が可能となった．
本研究を応用に，顔情報に対する解析，そして行動パターン解析にも着手した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
ジェスチャ解析にかかる手法の確立，学習・認識においては，十分な成果が得られている．また，ジェスチャの種類も25種類として十分期待でき，対外発表も行ってきた．ゆえに，今後は臨床現場での評価を重要視すべく，昨年度の研究計画では，臨床医からの評価を頂く予定であった．しかし，２年間の新型コロナウイルス感染拡大防止対策のため，実際の臨床現場における評価は非常に難しい状況にある．
本研究は，臨床現場での操作性に焦点を当てているため，臨床現場での評価は重要であると考える．今年度は昨年度難しかった，臨床現場での評価・検証を行いながら，ジェスチャの各種のデータ収集を継続して行うことで，よりロバストなジェスチャ解析とデータベースの充実化を目指す．
|
| 今後の研究の推進方策 |
最終年度はこれまでと継続して，臨床機関との連携により，①ジェスチャ解析における臨床現場での可視化操作の評価．ジェスチャ構成の評価，②ジェスチャデータベース構成のより充実化のための，継続したデータ収集，③Kinectだけでなく，新たなRGB-Dセンサとして，Real-senseの導入，④Webカメラから取得された手指ジェスチャに対し，本検討課題が妥当であるかの検証，を現在計画している．
2020年度，2021年度は，新型コロナウイルス感染拡大防止のため，予定していたデータ取得と評価が行うことが難しかった．そのため，今年度は昨年度と同様，データの取得と整備を行いながら，臨床現場との検証を進めていく．
また，申請書で提案していたRGB-Dセンサー，Kinct V2の販売終了に引き続き，2021年度，Intel社のRGB-Dセンサー，Real senseの終了が決定したため，このデバイスに変わる，あるいは補強するための手法を2021年度から継続し，検討・開発と検証を行う．
|
| 次年度使用額が生じた理由 |
2021年度の当初の予定は，臨床現場での本研究におけるジェスチャ解析ならびにデータベースの確認を行うべく，主に人件費と旅費を検討していた．しかし，2020年度に引き続く新型コロナウイルス感染拡大蔓延防止の指示に従い，データの取得と検証が非常に難しい状況となった．
本課題は次年度へ再延長を申請した．よって，2022年度では，臨床現場で実際の操作性およびさらなるデータ取得を予定している．
今回の残高について，2021年度の予定と同様，旅費と人件費として予算執行を計画する．
|
