• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2018 年度 実施状況報告書

手術中における医用画像の可視化操作のためのジェスチャモデル構築とデータベース公開

研究課題

研究課題/領域番号 18K11454
研究機関広島工業大学

研究代表者

健山 智子  広島工業大学, 情報学部, 助教 (90550153)

研究分担者 陳 延偉  立命館大学, 情報理工学部, 教授 (60236841)
松本 慎平  広島工業大学, 情報学部, 准教授 (30455183)
北上 始  広島工業大学, 情報学部, 教授 (50234240)
山岸 秀一  広島工業大学, 情報学部, 教授 (10609902)
研究期間 (年度) 2018-04-01 – 2021-03-31
キーワードハンドジェスチャパターンの決定 / ハンドジェスチャデータベース / 深層学習 / Kinect / 手指形状取得環境の構築
研究実績の概要

本年度は,初年度の研究として当初の予定どおり,Kinectから手指形状の取得ならびに取得すべきジェスチャの決定,ジェスチャ撮影環境の決定を行った.さらに,本研究では,取得されたジェスチャがどの形状であるか,を高精度に認識するためのデータベースを構成した.この構成されたデータベースは次年度の深層学習においても利用することを目的としており,初年度だけでなく,さらにデータ数を増やしていく.
ジェスチャ取得の環境は,Kinect V2を用いて正面と斜め上45度の静止画の2方向より,カラー画像とDepth画像(距離情報を画像の輝度値として表現する)の撮像を行った.また,ジェスチャの種類は,手のオープンをはじめ26パターンの種類を決定した.また,この撮像方法とは別で,Kinect V2と対象ジェスチャ間を正面のみ80cmとして,26種類のパターンでカラー画像とDepth画像の取得を行った.後者のジェスチャデータは,Kinect V2で撮像したジェスチャ間のデータにおける精度評価を行うこと,そして距離の違いからのジェスチャ推定の精度評価,撮像の精度評価が可能になる.この精度の評価について,手指形状を中心に顔形状も用いて,Kinect V2に対する計測精度の評価を行い,本研究のジェスチャデータの取得の確立とジェスチャデータベースの構築に進め,本課題の提案に対するDepthデータの取得・評価ならびにそのデータベースの有効性について解析を行った.2年目は,取得されたジェスチャデータを用いて実際に深層学習から手指形状の認識および環境の違いによる評価を行うことを予定している.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本年度の研究では,当初の計画に従い,手術空間上で3次元臓器形状モデルの可視化操作を行う際に,対話操作を実現するための手指形状情報の取得,収集,解析,ならびにそのジェスチャデータベース構築を行った.本年度は特に,ジェスチャデータの決定とその撮像方法,評価についてを検討でき,概ね順調に進展している.
手術空間での対話操作では,滅菌状態の維持ならびに機材持ち込みの状態を考慮すると,片手での対話操作実現は求められる.今回構築したジェスチャ情報は,すべて片手操作での実現が重要であり,本研究では,片手操作のジェスチャのパターンを考慮した26種類の決定を行った.
また,ジェスチャ取得における距離の精度についての調査が重要である.この評価を行うため,別で正面80cmにおいて情報を取得し,実データと取得データ間における精度の評価・解析,可視化解析を行った.

今後の研究の推進方策

本年度に構築したデータベースは,上45度そして正面からのジェスチャである.今後この横方向π/4, 3π/4に対して,データの取得を行う.また,今回の評価より,Kinect V2では,TOFによる深度情報の取得を行っている.同時に確認された遮蔽の影響などに対する検証も重要である.
また,取得・構築された手指形状のデータベースを用いて,深層学習による形状認識を行い,手術支援システムへの導入,そして,臨床現場での評価を行うことが重要である.

次年度使用額が生じた理由

分担者1名の初年度の分担金について,代表者と分担者間での共同研究打ち合わせにおける諸交通費などへの使用を予定していた.しかし,研究遂行にあたり,同じ学会への参加で打ち合わせを行うことができるなど,スムーズな打ち合わせを展開できたため,繰越金額が発生した.2年目は,さらなる共同の論文投稿を計画している.したがって,密な研究成果の打ち合わせならびに論文別刷りが必要であり,それに充てる.

  • 研究成果

    (29件)

すべて 2019 2018 その他

すべて 雑誌論文 (2件) (うち査読あり 2件) 学会発表 (25件) (うち国際学会 10件) 備考 (2件)

  • [雑誌論文] An Improved Kinect-Based Real-Time Gesture Recognition Using Deep Convolutional Neural Networks for Touchless Visualization of Hepatic Anatomical Models in Surgery2019

    • 著者名/発表者名
      Jiaqing Liu, Kotaro Furusawa, Seiju Tsujinaga, Tomoko Tateyama, Yutaro Iwamoto and Yen-Wei Chen
    • 雑誌名

      Journal of Image and Graphics

      巻: 印刷中 ページ: -

    • 査読あり
  • [雑誌論文] Kinect-Based Real-Time Gesture Recognition Using Deep Convolutional Neural Networks for Touchless Visualization of Hepatic Anatomical Models in Surgery2018

    • 著者名/発表者名
      Liu Jia-Qing、Tateyama Tomoko、Iwamoto Yutaro、Chen Yen-Wei
    • 雑誌名

      KES-IIMSS-18 2018. Smart Innovation, Systems and Technologies

      巻: 98 ページ: 223~229

    • DOI

      10.1007/978-3-319-92231-7_23

    • 査読あり
  • [学会発表] Automatic extraction of knee structure for damage analysis and assessment of knee meniscus using intensity histogram2019

    • 著者名/発表者名
      Tateyama.Tomoko, Maemoto.Natsumi, Matsumoto.Shimpei
    • 学会等名
      International Society of Artificial Life and Robotics 2018
    • 国際学会
  • [学会発表] Efficient Alignment method for facial swelling analysis measured from Kinect Depth sensor2019

    • 著者名/発表者名
      Tateyama.Tomoko, Ohno.Akifumi, Matsumoto.Shimpei
    • 学会等名
      International Society of Artificial Life and Robotics 2018
    • 国際学会
  • [学会発表] Automatic generation of pseudo flyer images to construct learning dataset and its application for extracting character string region based on machine learning2019

    • 著者名/発表者名
      Tateyama.Tomoko, Orimoto.Ken, Matsumoto.Shimpei
    • 学会等名
      International Society of Artificial Life and Robotics 2018
    • 国際学会
  • [学会発表] Construction Campus Map considering Terrain Slope and its Development of Virtual Experience Campus Systems using Mobile Device2019

    • 著者名/発表者名
      Tateyama.Tomoko, Kigami.Asuka, Testuro katada Matsumoto.Shimpei,
    • 学会等名
      International Society of Artificial Life and Robotics 2018
    • 国際学会
  • [学会発表] Locomotion simulation system in Virtual Experience Campus using Balance Wii Board and its evaluation2019

    • 著者名/発表者名
      Tateyama.Tomoko, Testuro katada, Kigami.Asuka, Matsumoto.Shimpei
    • 学会等名
      International Society of Artificial Life and Robotics 2018
    • 国際学会
  • [学会発表] 輝度値分布を考慮したMR画像からの膝半月板自動抽出2019

    • 著者名/発表者名
      上原由香里,前元菜摘,秋山佑輝,健山智子,松本慎平
    • 学会等名
      日本経営システムイノベーション指向データ分析研究部会2018年度第3回研究会
  • [学会発表] 肝臓情報抽出のための確率アトラス生成とそのデータベース構成2019

    • 著者名/発表者名
      秋山佑輝,前元菜摘,上原由香里,健山智子,松本慎平
    • 学会等名
      日本経営システムイノベーション指向データ分析研究部会2018年度第3回研究会
  • [学会発表] データサイエンスに基づく情報可視化とその有効性検証のための応用2019

    • 著者名/発表者名
      健山智子,前元菜摘,大野瑛史,折本研,木上飛鳥,松本慎平
    • 学会等名
      日本経営システムイノベーション指向データ分析研究部会2018年度第3回研究会
  • [学会発表] 輝度値を用いた膝軟骨の構造解析と可視化支援の研究2019

    • 著者名/発表者名
      前元菜摘,上原由香里,秋山佑輝,健山智子,松本慎平
    • 学会等名
      2018年度教育システム情報学会学生研究発表会中国地区A0(最優秀発表賞受賞)
  • [学会発表] PID制御デザインによる自由遊歩シミュレーションとVR体験キャンパスシステムへの応用2019

    • 著者名/発表者名
      堅田哲朗,木上飛鳥,健山智子,松本慎平
    • 学会等名
      知覚情報研究会
  • [学会発表] Construction of a Virtual Campus Experience System with a L-Shaped Stereoscopic Displa2018

    • 著者名/発表者名
      Tomoko Tateyama, Nobuo Yamaguchi, Ryoma Fujii, Seiju Tsujinaga, Jiaqing Liu, Yen-Wei Chen
    • 学会等名
      2018 International Scientific Conference on Engineering and Applied Sciences (ISCEAS)
    • 国際学会
  • [学会発表] Kinect を用いた腫れ顔の3次元形態変化の解析-顔形状の位置合わせ-2018

    • 著者名/発表者名
      大野瑛史,健山智子
    • 学会等名
      2018年IEEE Hiroshima Chap 若手研究会
  • [学会発表] Kinect RGB-D Hand Gesture Image Database for Deep Learning Based Gesture Recognition2018

    • 著者名/発表者名
      Jia-Qing Liu, Kotaro Furusawa, Seiju Tsujinaga, Tomoko Tateyama
    • 学会等名
      電子情報通信学会PRMU研究会
  • [学会発表] Construction of Virtual Campus Guide System Using Mobile Phone2018

    • 著者名/発表者名
      Tomoko Tateyama, Asuka Kigami, Shun Nishikawa, Tetsuro Katada, Shimpei Matsumoto
    • 学会等名
      7th International Congress on Advanced Applied Informatics
    • 国際学会
  • [学会発表] 機械学習に基づいたイベント広告画像内の文字領域の特定2018

    • 著者名/発表者名
      折本 研,健山智子,松本慎平
    • 学会等名
      2018年度電気学会電子・情報・システム部門大会
  • [学会発表] バランスwiiボードを用いた体験型キャンパス内の移動システム2018

    • 著者名/発表者名
      堅田哲朗,健山智子,木上飛鳥,西川 俊
    • 学会等名
      2018年度電気学会電子・情報・システム部門大会
  • [学会発表] 地形傾斜を考慮したキャンパスマップの作成とモバイル型キャンパス体験システムの構築2018

    • 著者名/発表者名
      木上飛鳥, 健山智子, 西川俊, 堅田哲朗, 劉家慶 陳延偉
    • 学会等名
      2018年度電気学会電子・情報・システム部門大会
  • [学会発表] チラシ・ポスター撮影画像のキーワード自動付与のための文字領域の抽出と認識2018

    • 著者名/発表者名
      寺西 大,折本 研,健山智子,松本慎平
    • 学会等名
      2018年度電気学会電子・情報・システム部門大会
  • [学会発表] A Pre-Liminary Analysis of Three-Dimensional Morphological Change for Facial Swelling using Kinect2018

    • 著者名/発表者名
      Tomoko Tateyama, Akifumi Ohno and Shimpei Matsumoto
    • 学会等名
      International Conference on Biomedical and Bioinformatics Engineering (ICBBE 2018)
    • 国際学会
  • [学会発表] Interactive Virtual Campus Tour System Using Skeleton Information from Kinect2018

    • 著者名/発表者名
      Seiju Tsujinaga, Nobuo Yamaguchi, Jiaqing Liu, Tomoko Tateyama, Yutaro Iwamoto and Yen-Wei Chen
    • 学会等名
      2018 IEEE 7th Global Conference on Consumer Electronics (GCCE 2018)
    • 国際学会
  • [学会発表] KINECTハンドジェスチャ画像データベース構築と深層学習によるジェスチャ認識2018

    • 著者名/発表者名
      古澤康太郎, 劉家慶, 辻永成樹, 健山智子, 岩本祐太郎, 陳延偉,
    • 学会等名
      平成30年電気関係学会関西連合大会
  • [学会発表] Kinect を用いた腫れ顔の三次元形態変化の解析-顔形状解析におけるランドマークの選定-2018

    • 著者名/発表者名
      大野瑛史,健山智子,松本慎平
    • 学会等名
      30年度日本知能情報ファジィ学会中国・四国大会
  • [学会発表] 広告画像からの高精度な文字列認識を目指した擬似広告画像生成2018

    • 著者名/発表者名
      折本 研,健山智子,松本慎平
    • 学会等名
      30年度日本知能情報ファジィ学会中国・四国大会
  • [学会発表] 輝度値ヒストグラムによる膝軟骨構造の解析と医用場像診断支援への応用2018

    • 著者名/発表者名
      前元菜摘,上原由香里,秋山佑輝,健山智子,松本慎平
    • 学会等名
      30年度日本知能情報ファジィ学会中国・四国大会
  • [学会発表] MaHG-RGBD: A Multi-angle View Hand Gesture RGB-D Dataset for Deep Learning Based Gesture Recognition and Baseline Evaluations,”2018

    • 著者名/発表者名
      Jia-Qing Liu, Kotaro Furusawa, Seiju Tsujinaga, Tomoko Tateyama, Yutaro Iwamoto, Yen-Wei Chen
    • 学会等名
      IEEE 37th International Conference on Consumer Electronics (IEEE ICCE2019)
    • 国際学会
  • [備考] 広島工業大学 健山智子

    • URL

      https://carp.cc.it-hiroshima.ac.jp/~tateyama/

  • [備考] 広島工業大学 知的情報可視化研究室

    • URL

      https://sites.google.com/site/ivalithiroshima/

URL: 

公開日: 2019-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi