• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2019 年度 実績報告書

手掌触覚伝達による手術手技の遠隔VR実地訓練基盤構築

研究課題

研究課題/領域番号 17H00754
研究機関立命館大学

研究代表者

田中 弘美  立命館大学, 情報理工学部, 教授 (10268154)

研究分担者 田川 和義  愛知工科大学, 工学部, 教授(移行) (40401319)
広田 光一  電気通信大学, 大学院情報理工学研究科, 教授 (80273332)
佐藤 誠  首都大学東京, システムデザイン研究科, 客員教授 (50114872)
島田 伸敬  立命館大学, 情報理工学部, 教授 (10294034)
平井 慎一  立命館大学, 理工学部, 教授 (90212167)
陳 延偉  立命館大学, 情報理工学部, 教授 (60236841)
野間 春生  立命館大学, 情報理工学部, 教授 (00374108)
小森 優  滋賀医科大学, 医学部, 非常勤講師 (80186824)
赤羽 克仁  東京工業大学, 科学技術創成研究院, 助教 (70500007)
木村 朝子  立命館大学, 情報理工学部, 教授 (20324832)
研究期間 (年度) 2017-04-01 – 2022-03-31
キーワードバーチャルリアリティ / ハプティック / 軟組織シミュレーション / 柔軟手シミュレーション / 多指・手掌力触覚提示装 / 柔軟物インタラクション / 手掌触覚伝達遠隔VR実地訓練
研究実績の概要

・柔軟手シミュレータの変形の計算手法について,陽解法による動的変形計算の実装を検討した.GPU並列計算のためにデータ構造やプロセスの割当法の最適化を検討した. ・指先モデルのメッシュ解像度(ノード数5800/要素数27737)について,計算機環境の整備により実時間性が得られる可能性が示された.また,柔軟手モデルのメッシュ解像度を触認識に必要とされる刺激密度に基づき検討し,ビーズを貼り付けた手袋により触刺激の離散化を模擬し分解能の向上により,反力の欠如を補うことができる傾向が確認された. ・三次元プリンタを用いて,人の指の構造を模したロボット指を試作した.ベローズ構造を有する空気圧アクチュエータを三次元プリンタで印刷し,筋肉として組み込むことにより,ロボット指の駆動が可能になった. ・仮想柔軟指と正弦波状の凹凸構造を持つ被接触物間の面接触シミュレータを構築した.シミュレータの精度検証・改良のため,凹凸構造に対応した計測環境を試作した. ・高自由度両手多指力触覚提示のための,指の可動範囲の測定と多数本のワイヤの最適な張方と剛性を保ちつつ軽量なフレームの設計を試みた.手首への力覚提示のための,並進回転の6自由度操作に把持力を付加できる高自由度触覚デバイスの設計しワイヤ制御方法について検討した.また可搬性を重視したウェアラブル触覚デバイスの設計を試みた. ・手術手技工程モデリングのために,腹腔鏡下胆嚢摘出術時の眼球運動を解析した.熟練医についてはモニタ位置から後方に向けて10m程度の広がりを持つ傾向が確認された.熟練医の眼球運動の特徴に基づき視覚的に警告する訓練システムを構築し評価を行った. ・観察に基づく道具を用いる手技工程のプロセスモデルを生成することを目的として,変分自己符号化器(VAE)を用いて多様な物体について適切な把持パタンを想起できる拡張手法を検討した.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

・柔軟手指先の変形モデルの解像度と実時間性について検討した結果,ノード数5800,要素数27737について,実験環境では実時間の処理は実現できなかったものの,計算機環境の整備により実時間性が得られる可能性が得られた.・人の触認識の刺激密度に基づくメッシュの解像度の検討を行い,手袋表面にビーズを貼付け,その間をスポンジによる物体により反力の欠如を模擬した実験から,触覚提示の分解能(ビーズ数)の向上により,反力の欠如を補うことができる傾向が確認できた.成果を発表した.・仮想柔軟指(柔軟指シミュレータ)と正弦波状の凹凸構造を持つ被接触物間の面接触シミュレータを構築した.・三次元プリンタを用いて,人の指の構造を模したロボット指の組立が容易になるように,マルチマテリアルの印刷を使用し,硬い骨格と柔らかい靭帯・腱から成る機構を一体で試作した.空気圧アクチュエータを三次元プリンタで印刷し,筋肉として組み込むことにより,ロボット指の駆動が可能になった.・これまでの熟練医の2次元的な注視点に加えて輻輳角を指標とし,注視点の周辺への眼球運動から熟練医の意図をも抽出する方法により,熟練医はモニタ位置から後方に向けて10m程度の広がりを持つ傾向が確認された.(初学者についてはこの傾向が見られない).得られた熟練者の眼球運動の特徴に基づき,視覚的に警告する訓練システムを構築した.・VR腹腔鏡手術シミュレータを用いたハンズオントレーニングシステムとして,メンターの手技操作を視触覚で提示する誘導型教示と被訓練者の操作が許容範囲を超えた際にだけ誘導を行う自立訓練の2階層で構成した.これらはこれまで開発した実験システム上で開発したが,COVID-19の影響で医学生を対象とした実証実験は行えていないが状況改善後進める.
以上から,概ね順調に進展していると思われる

今後の研究の推進方策

・実時間柔軟手シミュレータの実現を目指し高速化を進める.前年度の検討の陽解法による動的変形計算の改善とGPUによる並列計算の最適化を引き続き検討する.これらにより,実時間での動的接触計算のシミュレーションの精度について評価する. ・計算機環境の整備を図り,指先モデルの変形シミュレーションの実時間性の達成と精度を検証し評価する.・柔軟指と凹凸構造を持つ被接触物(播種等)間の面接触シミュレーションの高速化を検討する.昨年度試作した,1軸ステージと高速度カメラで構成される凹凸構造を持つ被接触物に対応した計測環境(実指先の滑りの様相を計測)を用いて,シミュレーション精度を検証し評価を行う.また,柔軟面接触シミュレータへの応用を想定し,複合現実環境での実世界の柔軟物体に,より柔らかい仮想物体の視覚刺激を重畳描画し,視覚刺激を変更するだけで実物体の柔らかさをどの程度異なって知覚するのかについて実験を実施し評価する. ・昨年度試作した,三次元プリンタを用いて硬い骨格と柔らかい靭帯・腱から成る機構を一体して筋肉として組み込んだロボット指を用いて,接触やなぞりにおける指の滑りに関する特性を調べるとともに,有限要素シミュレーションによる力学解析を行う. ・前年度までの検討に基づき,両手多指操作環境の実現に向けて触覚機能付きデータグローブおよびオープンハンドコントローラ(市販)などと組み合わせ,力覚+触覚のデバイスの構築を目指す. ・これまでの熟練医の2次元的および輻輳角を用いた3次元的な注視点の眼球運動データの解析と分析を基に,熟練医の術中の視線情報をアーカイブするシステムを構築する.さらに熟練医の視線の配り方に基づきガイドする手術手技訓練システムに応用し拡張する. ・遠隔協働VR環境構築については,滋賀病院と立命館大,滋賀医科大学を一般回線とLANで接続するシステムの実証実験を設計する.

  • 研究成果

    (34件)

すべて 2020 2019

すべて 雑誌論文 (10件) (うち査読あり 8件、 オープンアクセス 7件) 学会発表 (24件) (うち国際学会 5件、 招待講演 1件)

  • [雑誌論文] Influence of Sparse Contact Point and Finger Penetration In Object on Shape Recognition2020

    • 著者名/発表者名
      Yusuke Ujitoko, Sho Sakurai, Koichi Hirota
    • 雑誌名

      IEEE Transactions on Haptics

      巻: Volume: 13 ページ: 425 - 435

    • DOI

      10.1109/TOH.2019.2954882

    • 査読あり / オープンアクセス
  • [雑誌論文] 先端伸縮型 仮想物体接触デバイスExtickTouchへの硬軟感提示機構の導入2020

    • 著者名/発表者名
      岡夏輝,廣瀬太朗,片岡敬志郎,大槻麻衣,柴田史久,木村朝子
    • 雑誌名

      情報処理学会 インタラクション 2020予稿集

      巻: 1A-01 ページ: 188-191

    • 査読あり
  • [雑誌論文] VR空間での視点位置変化が着座 面の柔らかさ知覚に与える影響2020

    • 著者名/発表者名
      五十嵐郁瑛,松室美紀,柴田史久,木村朝子
    • 雑誌名

      情報処理学会 インタラクション 2020予稿集

      巻: 2B-60 ページ: 702-706

    • 査読あり
  • [雑誌論文] Numerical Analysis of Contact Area Influence in a Capacitive Soft Force Sensor2019

    • 著者名/発表者名
      Takahiro Matsuno and Shinichi Hirai
    • 雑誌名

      IEEE Int. Conf. on Soft Robotics (RoboSoft 2019)

      巻: 18720275 ページ: 14-18

    • DOI

      10.1109/ROBOSOFT.2019.8722765

    • 査読あり / オープンアクセス
  • [雑誌論文] VRを応用した手術訓練システムの現状2019

    • 著者名/発表者名
      田川 和義, 田中 弘美
    • 雑誌名

      研究開発リーダー / 技術情報協会

      巻: No.163 ページ: 14-18

  • [雑誌論文] 身体的追体験の概念の提案と一部機能の試験実装―多感覚・運動情報提示による歩行・走行体験の共有2019

    • 著者名/発表者名
      池井 寧, 広田光一, 阿部浩二, 雨宮智浩, 佐藤 誠, 北崎充晃
    • 雑誌名

      日本バーチャルリアリティ学会論文誌

      巻: Vol. 24, No. 2 ページ: 153-164

    • DOI

      10.18974/tvrsj.24.2_153

    • 査読あり / オープンアクセス
  • [雑誌論文] Wearable Stick-Slip Display on Fingertip to Reproduce Rubbing Sensation2019

    • 著者名/発表者名
      Honoka Haramo, Vibol Yem, Makoto Sato, Yasushi Ikei
    • 雑誌名

      International Display Workshops

      巻: Vol. 26 ページ: 1232-1234

    • DOI

      10.36463/idw.2019.1232

    • 査読あり / オープンアクセス
  • [雑誌論文] A Deep Convolutional Neural Network with Multi Pathways for Robust Hepatic Vessel Segmentation2019

    • 著者名/発表者名
      Titinunt Kitrungrotsakul, Xian-Hua Han, Yutaro Iwamoto, Lanfen Lin, Amir Hossein Foruzan, Xiong Wei, Yen-Wei Chen, “VesselNet
    • 雑誌名

      Computerized Medical Imaging and Graphics

      巻: Vol.75 ページ: 74-83

    • DOI

      10.1016/j.compmedimag.2019.05.002

    • 査読あり / オープンアクセス
  • [雑誌論文] A Preliminary Study of Kinect-Based Real-Time Hand Gesture Interaction Systems for Touchless Visualizations of Hepatic Structures in Surgery,2019

    • 著者名/発表者名
      Jia-Qing Liu, Tomoko Tateyama, Yutaro Iwamoto, Yen-Wei Chen
    • 雑誌名

      Medical Imaging and Information Science

      巻: Vol.36 ページ: 128-135

    • DOI

      10.11318/mii.36.128

    • オープンアクセス
  • [雑誌論文] Semi-supervised Segmentation of Liver Using Adversarial Learning with Deep Atlas Prior2019

    • 著者名/発表者名
      Han Zheng, Lanfen Lin, Hongjie Hu, Qiaowei Zhang, Qingqing Chen, Yutaro Iwamoto, Xianhua Han, Yen-Wei Chen, Ruofeng Tong, Jian Wu
    • 雑誌名

      Medical Image Computing and Computer Assisted Intervention MICCAI 2019

      巻: LNCS11769, Springer ページ: 148-156

    • 査読あり / オープンアクセス
  • [学会発表] 端子部への負荷を軽減する FPC を用いた MEMS 触覚センサの実装2020

    • 著者名/発表者名
      岡田 一志、川田 智晴、 河内 彪博、大井 翔、 松村 耕平、 寒川 雅之、野間 春生
    • 学会等名
      令和2年度電気学会全国大会
  • [学会発表] ボンディングワイヤのUV硬化樹脂封止によるMEMS触覚センサの耐久性向上2020

    • 著者名/発表者名
      髙橋佑司,髙橋拓海, 安部隆,野間春生, 寒川雅之
    • 学会等名
      令和2年度電気学会全国大会
  • [学会発表] 低侵襲手術訓練のための視覚・力覚的に能動的な教示法の提案2020

    • 著者名/発表者名
      福元 勇汰, 田川 和義, 山本 雅也, 小森 優, 来見 良誠, 田中 弘美,
    • 学会等名
      電気学会研究会
  • [学会発表] Robust Hand Gesture Recognition Using Multimodal Deep Learning for Touchless Visualization of 3D Medical Images2020

    • 著者名/発表者名
      Kotaro Furusawa, Jiaqing Liu, Seiju Tsujinaga, Tomoko Tateyama, Yutaro Iwamoto, Yen-Wei Chen
    • 学会等名
      In: Liu Y., Wang L., Zhao L., Yu Z. (eds) Advances in Natural Computation, Fuzzy Systems and Knowledge Discovery. ICNC-FSKD
  • [学会発表] Goal-oriented Design of Soft Force Sensor2019

    • 著者名/発表者名
      Shinichi Hirai
    • 学会等名
      ICRA 2019 Workshop on Soft Haptic Interaction
    • 国際学会
  • [学会発表] MEMS触覚センサと応用技術の紹介2019

    • 著者名/発表者名
      野間春生
    • 学会等名
      精密工学会「IoT製造技術」研究会
    • 招待講演
  • [学会発表] MEMS触覚センサを用いた包丁の手技での熟練者と非熟練者の比較2019

    • 著者名/発表者名
      川田 智晴 岡田 一志 大井 翔 松村 耕平 野間 春生, 寒川 雅之
    • 学会等名
      第23回ハプティクス研究会
  • [学会発表] ヒトの触覚を目指すMEMS超小形触覚センサの研究2019

    • 著者名/発表者名
      野間 春生
    • 学会等名
      第1回先端センサ・シンポジウム センサ技術・研究発表会
  • [学会発表] 指紋を有する指先のStick-Slipシミュレーション2019

    • 著者名/発表者名
      田川 和義, 井垣 友貴, 田中 弘美
    • 学会等名
      第24回日本バーチャルリアリティ学会大会
  • [学会発表] 指紋を有する指先のStick-Slipシミュレータの構築2019

    • 著者名/発表者名
      田川 和義, 井垣 友貴, 田中 弘美
    • 学会等名
      電気学会 電子・情報・システム部門大会
  • [学会発表] A Feature Extraction Approach to Handle Variations in Camera Viewpoint for Computer Vision Tasks2019

    • 著者名/発表者名
      Dinh Tuan Tran, Hirotake Yamazoe, Nobutaka Shimada, Joo-Ho Lee
    • 学会等名
      The 15th Joint Workshop on Machine Perception and Robotics
  • [学会発表] Discovery of Image Pixels Highly Contributing to CNN regression2019

    • 著者名/発表者名
      LI Yitian, SHIMADA Nobutaka
    • 学会等名
      The 15th Joint Workshop on Machine Perception and Robotics
  • [学会発表] Detection of Unstable Objects by Using Deep Learning for Domestic Environment2019

    • 著者名/発表者名
      FUKUI Takaaki, SHIMADA Nobutaka, MATSUO Tadashi
    • 学会等名
      The 15th Joint Workshop on Machine Perception and Robotics
  • [学会発表] Recalling Candidates of Grasping Method from an Object Image using Neural Network2019

    • 著者名/発表者名
      Makoto Sanada, Tadashi Matsuo, Nobutaka Shimada, Yoshiaki Shirai
    • 学会等名
      The 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems
  • [学会発表] Inferring Task Plans from Visual Demonstration with Recurrent Neural Networks2019

    • 著者名/発表者名
      Lix, Nobutaka Shimada
    • 学会等名
      第22回画像の認識・理解シンポジウム
  • [学会発表] 力入力に対する剛体群の運動応答予測と静力学的構造安定性の推定2019

    • 著者名/発表者名
      福井 尚卿, 松尾 直志, 島田 伸敬
    • 学会等名
      ロボティクス・メカトロニクス講演会
  • [学会発表] 腕振り運動提示における感覚生成と身体運動に関する研究2019

    • 著者名/発表者名
      末田 岳,ヤェム ヴィボル, 雨宮智浩, 北崎充晃, 佐藤 誠, 池井 寧
    • 学会等名
      2019年度第1回VRと超臨場感研究会
  • [学会発表] 旋回歩行感覚を与える刺激提示手法に関する研究2019

    • 著者名/発表者名
      末田 岳, 阪 直幸, Vibol Yem, 雨宮智浩, 北崎充晃, 佐藤 誠, 池井 寧
    • 学会等名
      第24回日本バーチャルリアリティ学会大会
  • [学会発表] Ruofeng Tong, Jian Wu,”Multi-stream Scale-Insensitive Convolutional and Recurrent Neural Networks for Liver Tumor Detection in Dynamic CT Images2019

    • 著者名/発表者名
      Dong Liang*, Lanfen Lin*, Xiao Chen, Hongjie Hu, Qiaowei Zhang, Qingqing Chen, Yutaro Iwamoto, Xianhua Han, Yen-Wei Chen
    • 学会等名
      IEEE International Conference on Image Processing
    • 国際学会
  • [学会発表] “Automatic Detection of Focal Liver Lesions in Multi-phase CT Images Using a Multi-channel & Multi-scale CNN2019

    • 著者名/発表者名
      Yoshihiro Todoroki, Yutaro Iwamoto, *Lanfen Lin, Hongjie Hu, and Yen-Wei Chen
    • 学会等名
      41st International Engineering in Medicine and Biology Conference
  • [学会発表] ExtickTouch: A novel interactive haptic device for getting contact-feeling of virtual objects,2019

    • 著者名/発表者名
      Keishirou Kataoka, Takuya Yamamoto, Mai Otsuki, Fumihisa Shibata, and Asako Kimura
    • 学会等名
      2019 IEEE World Haptics Conference (WHC 2019)
    • 国際学会
  • [学会発表] ExtickTouch: 仮想物 体への接触感を提示する先端伸縮型デバイスの開発2019

    • 著者名/発表者名
      片岡敬志郎,山本拓也,大槻麻衣,柴田史久,木村朝子
    • 学会等名
      第27回インタラクティブシ ステムとソフトウェアに関するワークショップ(WISS2019)
  • [学会発表] Generation of Walking Sensation by Upper Limb Motion2019

    • 著者名/発表者名
      Gaku Sueta, Naoyuki Saka, Vibol Yem, Tomohiro Amemiya, Michiteru Kitazaki, Makoto Sato, Yasushi Ikei
    • 学会等名
      Conference on Artificial Reality and Telexistence (ICAT-EGVE2019)
    • 国際学会
  • [学会発表] An Improved Hand Gesture Recognition with Two-Stage Convolutional Neural Networks Using a Hand Color Image and Its Pseudo-Depth Image2019

    • 著者名/発表者名
      2.Jiaqing Liu, Kotaro Furusawa, Tomoko Tateyama, Yutaro Iwamoto, *Yen-Wei Che
    • 学会等名
      Proc. of 2019 IEEE International Conference on Image Processing (IEEE ICIP 2019)
    • 国際学会

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi