• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実績報告書

手術中における医用画像の可視化操作のためのジェスチャモデル構築とデータベース公開

研究課題

研究課題/領域番号 18K11454
研究機関藤田医科大学

研究代表者

健山 智子  藤田医科大学, 医療科学部, 准教授 (90550153)

研究分担者 陳 延偉  立命館大学, 情報理工学部, 教授 (60236841)
松本 慎平  広島工業大学, 情報学部, 教授 (30455183)
北上 始  広島工業大学, 情報学部, 教授 (50234240) [辞退]
山岸 秀一  広島工業大学, 情報学部, 教授 (10609902) [辞退]
研究期間 (年度) 2018-04-01 – 2023-03-31
キーワードジェスチャ解析 / ジェスチャデータベース公開 / 深層学習 / 医用画像可視化支援
研究実績の概要

手術中における医用画像の効率的な可視化操作の実現を目指し, 本研究ではジェスチャ認識に基づくタッチレス医用画像可視化操作とそのシステム開発を行っている. 本研究ではジェスチャ取得にRGB-Dセンサーである Kinect V2 および Real sense を用いてカラー情報(RGB色空間)と深度情報(depth)情報を2取得し, 解析を行った. 従来のジェスチャ認識手法では, 画像解析と特徴解析に基づいて抽出した画像特徴量をもとに, 機械学習 ( 主に SVM ( Support Vector Machine ) など ) を用いてジェシチャの認識を行っていた. しかし, この方法では人手で画像特徴量を設計し, その設計に基づいたジェスチャ解析であった. 本研究では, 深層学習を導入し, ジェスチャの特徴抽出, 認識を一貫して行うことを達成した. 深層学習の導入により,特徴解析も自動で行うことから,精度向上だけでなく認識速度の向上も達成した.
また, これまでのジェスチャ解析は, カラー情報, depth情報のどちらかの情報に基づいての解析であった. カラー情報は手指領域の識別に重要な役割を担い, そしてdepth情報は奥行き情報を含んでいることから. 手指形状の重要な要素を含んでいる. これらの特徴を両者考慮することで, より高精度な解析が可能となる.本研究では, カラー情報とdepth情報を深層学習によって融合し, 特徴解析・分類を行った.本手法により精度を実現した. また,本研究ではジェスチャモデルとして35種類のパターンを実現した.

  • 研究成果

    (13件)

すべて 2022 その他

すべて 雑誌論文 (2件) (うち国際共著 1件、 査読あり 2件、 オープンアクセス 1件) 学会発表 (9件) (うち国際学会 2件、 招待講演 1件) 備考 (2件)

  • [雑誌論文] A multi-head pseudo nodes based spatial_temporal graph convolutional network for emotion perception from GAIT,2022

    • 著者名/発表者名
      Shurong Chai, Jiaqing Liu, Rahul Kumar Jain, Tomoko Tateyama, Yutaro Iwamoto, Lanfen Lin, Yen-Wei Chen,
    • 雑誌名

      Neurocomputing,

      巻: 511 ページ: pp.437-447

    • DOI

      10.1016/j.neucom.2022.09.061

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Dual Attention 機構を取り入れた時空間グラフ畳み込みネットワークによる歩行からの感情認識2022

    • 著者名/発表者名
      劉 家慶,木下将児,柴 樹榕,健山智子,岩本祐太郎,陳 延偉
    • 雑誌名

      画像電子学会誌

      巻: 51 ページ: pp.309-317

    • 査読あり
  • [学会発表] 人工知能とデータサイエンス,そして医療への応用2022

    • 著者名/発表者名
      健山智子
    • 学会等名
      第2回 AIとデータサイエンスにかかる研究会
    • 招待講演
  • [学会発表] Accurate Hand Gesture Recognition Using Color and Depth Images with Modality-invariant Fusion2022

    • 著者名/発表者名
      Masaya Okano, Jia-Qing Liu,
    • 学会等名
      IEEE Global Conference on Consumer Electronics (GCCE2022),OS-AIP(2): Advanced Image Processing (2)
    • 国際学会
  • [学会発表] A Transformer-Based Multimodal Network for Audiovisual Depression Prediction2022

    • 著者名/発表者名
      Shiyu Teng, Shurong Chai, Jiaqing Liu, Tateyama Tomoko, Xinyin Huang, Yen-Wei Chen
    • 学会等名
      IEEE Global Conference on Consumer Electronics (GCCE2022),OS-AIP(2): Advanced Image Processing (2)
    • 国際学会
  • [学会発表] A Module Selection-based Approach for Efficient Skeleton Human Action Recognition2022

    • 著者名/発表者名
      Shurong Chai, Rahul Kumar Jain, Jiaqing Liu, Tomoko Tateyama, Yinhao Li, Yen-Wei Chen
    • 学会等名
      2022年度パターン認識・機械学習研究会(PRML),
  • [学会発表] A transformer based feature-level fusion approach for Audiovisual Depression Prediction2022

    • 著者名/発表者名
      Shiyu Teng, Shurong Chai, Jiaqing Liu, Tateyama Tomoko, Xinyin Huang, Yen-wei Chen
    • 学会等名
      2022年度パターン認識・機械学習研究会(PRML),
  • [学会発表] PointNet++を用いた遺伝子関連研究に向けた3次元顔面形態認2022

    • 著者名/発表者名
      岡田一真, 寺田卓馬, 劉 家慶, 健山智子, 木村亮介, 陳 延偉
    • 学会等名
      2022年度パターン認識・機械学習研究会(PRML),
  • [学会発表] Computer-aided Diagnosis System of COVID-19 with Hololens2022

    • 著者名/発表者名
      Liang LYU, Shurong Chai, Jiaqing Liu, Huimin Huang, Fang Wang, Tomoko Tateyama, Lanfen Lin, Yenwei Chen
    • 学会等名
      MEとバイオサイバネティックス研究会
  • [学会発表] 三次元点群データによる顔面形状変化の観測と可視化2022

    • 著者名/発表者名
      美甘圭, 野崎 真也, 健山 智子
    • 学会等名
      2022年度電気・情報関係学会九州支部連合大会(第75回連合大会)
  • [学会発表] ウェブカメラを用いた顔面形状の計測とその評価2022

    • 著者名/発表者名
      大久保 敏斗, 野崎 真也, 健山 智子
    • 学会等名
      2022年度電気・情報関係学会九州支部連合大会(第75回連合大会)
  • [備考] Intelligent Visual Analytics & Learning 知的情報可視化研究室

    • URL

      https://sites.google.com/view/ivaltateyama/top

  • [備考] 医療科学部 研究推進ユニット知能情報工学分野

    • URL

      https://www.fujita-hu.ac.jp/faculty/unit/iie/top.html

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi