2018 Fiscal Year Annual Research Report
手掌触覚伝達による手術手技の遠隔VR実地訓練基盤構築
| Project/Area Number |
17H00754
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
田中 弘美 立命館大学, 情報理工学部, 教授 (10268154)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
田川 和義 愛知工科大学, 工学部, 教授(移行) (40401319)
広田 光一 電気通信大学, 大学院情報理工学研究科, 教授 (80273332)
佐藤 誠 首都大学東京, システムデザイン研究科, 特任教授 (50114872)
島田 伸敬 立命館大学, 情報理工学部, 教授 (10294034)
平井 慎一 立命館大学, 理工学部, 教授 (90212167)
陳 延偉 立命館大学, 情報理工学部, 教授 (60236841)
野間 春生 立命館大学, 情報理工学部, 教授 (00374108)
小森 優 滋賀医科大学, 医学部, 非常勤講師 (80186824)
赤羽 克仁 東京工業大学, 科学技術創成研究院, 助教 (70500007)
|
|---|
| Project Period (FY) |
2017-04-01 – 2022-03-31
|
| Keywords | バーチャルリアリティ / ハプティクス / 軟組織シミュレーション / 柔軟手シミュレーション / 多指・手掌力触覚提示装 / 柔軟物インタラクション / 手掌触覚伝 / 遠隔VR実地訓練 |
|---|
| Outline of Annual Research Achievements |
・指紋を有する指先のStick-Slipシミュレータを構築した．実際の指先と同様の，なぞり速度が上がるにつれ指先表面に生じる振動周波数が高くなる現象を確認した．加えて，シミュレータの精度検証・改良のため，1軸ステージと高速度カメラで構成される計測環境（実指先の滑りの様相を計測）構築を行った．
・実時間柔軟手シミュレータ構築のための，動的変形の実時間計算手法について検討した．手法の検討の段階であることから，手全体のモデルではなく指先のモデル（ノード間隔約1mm）を用いた。(1)インパルス応答変形モデルによる方法、(2)有限要素法の中央差分法による陽解法，の2つ方法での実現を試みた．
・柔軟手モデルの高速化ために，有限要素法の計算の中で比較的大きな計算時間を要する疎行列×ベクトルの計算について検討した。行列の要素を入れ替えてバンド幅を最小化し、要素の計算順序を入れ替えてメモリアクセスを効率化することで、計算速度が向上することを確認した．
・柔軟指の挙動を調べるためには，指に作用する力を計測することが必要である．そこで，導電材料を柔軟指に埋め込み，柔軟な指にどのような力が作用するかを計測する手法を提案した．
・両手多指操作環境の実現に向け，高精度な力覚・触覚提示のシステム構築に向けた装置の調査および検討を行った．具体的には，ヒトの操作を阻害しないための，オープンハンドコントローラの調査を行い，ワイヤとオープンハンドルコントローラの力学的関係および幾何学的関係をモデル化の検討を行った．ウェアラブルな多指操作デバイスに着目し，ワイヤ駆動型力覚提示装置との親和性などの検討を行った．
・手技工程のモデル化のために，熟練医の術中の2次元的な注視点を指標とし，手術を通した眼球運動データの解析と分析を実施した．その結果，注視点のみでは特徴な箇所を捉えることは難しく，眼の輻輳角など，別の指標を併用する必要があることが分かった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
・指紋を有するヒトの柔軟指の基礎的なシミュレータとして，指紋を有する指先のStick-Slipシミュレータを構築し，シミュレーションを行った結果，実際の指先と同様の，なぞり速度が上がるにつれ指先表面に生じる振動周波数が高くなる現象を確認している．加えて，シミュレータの精度検証・改良のために，1軸ステージと高速度カメラで構成される計測環境（実指先の滑りの様相を計測）構築を行っている．評価が不十分であった部分については，自前での計測による評価の準備を進めている．・手指位置の階層的探索と軟組織表面における近傍探索を統合した高速接触判定により，5本指で同時に軟組織に接触する柔軟面間接触シミュレーションを開発し，さらなる高速化を検討している．
・全体としては実験システムが整備され、次年度以降の検討と評価の環境を整えることができたと考える．
・MRI画像解析に基づく指内部組織の領域分割により３次元指先内部構造モデルを構築した．事前情報をBayesモデルとして組み込むことによって，高精度にかつ高速に軟組織をセグメンテーションが可能であることを確認している．
・多指操作環境における，力覚・触覚デバイスの設計方針の方向性と，高自由度両手多指力触覚提示のための触覚デバイス設計と，HMD環境における両手多指環境とワイヤ駆動型力覚提示装置の調査・検討を行った．
・両手多指操作環境の実現に向け，ワイヤとオープンハンドルコントローラの力学的関係および幾何学的関係のモデル化とさらに，ワイヤ駆動型力覚提示装置との親和性などの検討に進んでいる．
・これまでの熟練医の２次元的な注視点に加えて輻輳角を指標とし，注視点の周辺への眼球運動から，熟練医の意図をも抽出する方法の検討を始めた．以上から，概ね順調に進展していると考える．
|
| Strategy for Future Research Activity |
・柔軟手シミュレータの高速化を進める．前年度の検討の(2) 有限要素法の中央差分法による陽解法には改善の余地があり引き続き検討する．特に、並列性の向上は効果が期待できる．また，経験的には時間ステップを0.02ms程度にしても計算は安定である．これらにより，実時間での動的接触計算の実現を目指す．また、シミュレーションの精度について評価する．・柔軟手メッシュモデルの最適化について継続して検討する．また，今年度得られた改良手法を柔軟手モデルの計算に導入しその効果を評価する．・柔軟指と凹凸構造を持つ被接触物（播種等）間の 面接触シミュレーション構築し，評価を行う．
・表面テクスチャーを有する柔軟指の試作と力学解析する．指紋を模した表面テクスチャーを有する柔軟な指をキャスティングより試作し，滑りに関する特性を調べるとともに，有限要素シミュレーションによる力学解析を進める．
・前年度の研究調査および検討に基づき，両手多指操作環境の実現に向け，spidarーw3（仮）を開発している．これと触覚機能付きデータグローブおよびオープンハンドコントローラ(いくつか市販されている)などと組み合わせ，力覚＋触覚のデバイスの構築を目指す．
・これまでの熟練医の２次元的な注視点に加えて輻輳角を指標とし，手術を通した眼球運動データの解析と分析を実施し特徴的な箇所を把握する．主に特徴的な箇所について，術者の内省報告と突き合わせ眼球運動の影響が大きい手術工程を抽出する方法を検討する．・熟練医の術中の視線情報をアーカイブするシステムを構築するとともに，熟練医の視線の配り方の特徴を明らかにし，訓練システムに応用する．
・遠隔協働VR環境構築については，滋賀病院と立命館大,滋賀医科大学を一般回線とLANで接続するシステムの実証実験を設計する
|
