2017 Fiscal Year Annual Research Report
手掌触覚伝達による手術手技の遠隔VR実地訓練基盤構築
| Project/Area Number |
17H00754
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
田中 弘美 立命館大学, 情報理工学部, 教授 (10268154)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
佐藤 誠 首都大学東京, システムデザイン研究科, 特任教授 (50114872)
広田 光一 電気通信大学, 大学院情報理工学研究科, 教授 (80273332)
平井 慎一 立命館大学, 理工学部, 教授 (90212167)
小森 優 滋賀医科大学, 医学部, 教授 (80186824)
島田 伸敬 立命館大学, 情報理工学部, 教授 (10294034)
田川 和義 愛知工科大学, 工学部, 准教授(移行) (40401319)
赤羽 克仁 東京工業大学, 科学技術創成研究院, 助教 (70500007)
陳 延偉 立命館大学, 情報理工学部, 教授 (60236841)
野間 春生 立命館大学, 情報理工学部, 教授 (00374108)
|
|---|
| Project Period (FY) |
2017-04-01 – 2022-03-31
|
| Keywords | バーチャルリアリティ / ハプティック / 軟組織シミュレーション / 柔軟手シミュレーション / 多指・手掌力触覚提示装置 / 柔軟物インタラクション / 手掌触覚伝達 / 遠隔VR実地訓練 |
|---|
| Outline of Annual Research Achievements |
動特性および幾何学的非線形性を考慮可能な共回転変形モデルに基づく，指紋を有するヒトの柔軟指モデル（ノード間隔約1mm）を構築し，Stick-Slip現象を考慮した接触シミュレータを開発．柔軟指の二次元断面モデルと平面間の接触シミュレーション結果から，接触および滑り始めについては現実の挙動に近いことを確認．また，柔軟手モデルのリンク長（指骨の長さに相当）を個人の計測値に基づき設定するスケーリングモデルを試作し評価し，掌および指の伸縮を行うメッシュモデル生成手法を開発し,手指位置の階層的探索と軟組織表面における近傍探索を統合した高速接触判定により，5本指で同時に軟組織に接触する柔軟面間接触シミュレーションを開発
MRI 装置を用いて指先の内部構造を計測し,各組織に領域分割し,指先の３次元内部構造モデルを構築．独自に開発した触覚センサをロボット指先にとりつけ，複数の対象物体のなぞり結果を深層学習技術で識別する手法を開発し，90％の識別率を達成
肝臓の形状と強度に関する事前情報をBayesモデルとして組み込むことによって,高精度かつ高速な肝臓および血管分布のモデリングを行った
高自由度の両手操作を実現するために，5本の指先の操作を可能にするハンドコントローラの検討を行い,VR世界の中で手を自由に動かすためのHMDデバイスに着目し，高い没入感を実現する両手多指デバイスの検討を行った．その中でもオープンハンドコントローラは,拘束性の緩やかなオープンハンドコントローラと指先の高精度力覚提示を組み合わせることで優れた操作性を実現できると考えるに至った．手術手技工程の視触覚モデリングにおいては，手技工程における熟練医の手技を,術中映像をもとに文脈, 工程について状態遷移モデルを検討し,これに手技の操作姿勢を加えるため,RGB-Dカメラを用いて手術シミュレータ操作時の動作を観測できることを確認した
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
・指紋を有するヒトの柔軟指の基礎的なシミュレータとして，動特性を考慮した非線形二次元断面シミュレータを作成し，可能な範囲での精度評価を既に完了している．評価が不十分であった部分については，自前での計測による評価の準備を進めている．シミュレーションの高速化のために，記録再生型変形モデル導入の検討も実施した．また，柔軟手モデルのスケーリングにより精度の高い検討が必要であるという知見を得られた．現在のメッシュモデル生成手法はリンク長の変化を直接的に反映することができず、改良が必要であるが，全体としては実験システムが整備され、次年度以降の検討の環境を整えることができたと考える．・手指と軟組織の対象物体とその背景空間を，階層的探索と近傍探索を組み合わせた高速探索法により，5本指で同時に軟組織に接触する柔軟面間接触シミュレーションを開発した．・MRI画像解析に基づく指内部組織の領域分割により３次元指先内部構造モデルを構築した．従来のRandom Walkに軟組織(肝臓)に関する事前情報をBayesモデルとして組み込むことによって，高精度にかつ高速に軟組織をセグメンテーションすることができた．また，触覚センサを利用し，信号を分析する基礎的な技術を確立した・多指操作環境における，力覚・触覚デバイスの設計方針の方向性と，高自由度両手多指力触覚提示のための触覚デバイス設計と，HMD環境における両手多指環境とワイヤ駆動型力覚提示装置の調査・検討を行った．
・熟練医の手技の操作姿勢をRGB-Dカメラを用いて手術シミュレータ操作時の動作を観測できることを確認した．
以上から，概ね順調に進展していると考える．
|
| Strategy for Future Research Activity |
・指紋を有するヒト指腹部の模型を3Dプリンタと人肌ゲル等を用いて作成し，物体をなぞった際のStick-Slip現象による振動を計測・比較し，シミュレーション精度を評価する．計測か記録再生型変形モデルの導入と接触（非線形現象）への対応化により，指紋部の高周波振動再現の計算量を大幅削減し，２次元の柔軟指モデルを３次元へ拡張する．また，柔軟手モデルのリンク長に対応した指骨の伸縮と掌部の包括的な変形により，個人化が操作性に与える効果を実証的に評価する
・指先と軟組織(肝臓)のセグメンテーションとモデリングの精度と速度を向上するために，深層学習とRandom Walk法を融合した対話型深層学習法によるセグメンテーション法を開発する．さらに，肝臓，血管，腫瘍の三次元モデルを用いた手術支援するためのタッチレス可視化システムを開発する
・機器の表面に触覚センサを装着し，これをユーザが掴んでその機器を使う際のセンサ出力を分析し，機器の利用について推定する仕組みを研究する
・両手多指操作環境の実現に向け，高精度な力覚・触覚提示のシステム構築に向けた装置の開発を行う．また，ヒトの操作を阻害しないための，オープンハンドコントローラの設計開発を行い，ワイヤとオープンハンドルコントローラの力学的関係および幾何学的関係をモデル化し設計する．そして，ウェアラブルな多指操作デバイスに着目し，ワイヤ駆動型力覚提示装置との親和性などの検討を行う
・手術シミュレータを用いて熟練医師の鉗子操作および操作姿勢の教師データを，シミュレータによる鉗子先端軌跡，臓器からの反力遷移，RGB-Dカメラからの動作軌跡のそれぞれを手技工程毎に対応付け工程間の遷移を分析する．また，VRハンズオントレーニングとして,教師データに基づいて鉗子操作を誘導し,操作を学習し，被訓練者の動作姿勢をリアルタイムに計測し,教師データと比較し矯正する
|
Research Products
(35 results)
