| Project/Area Number |
17H00754
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
田中 弘美 立命館大学, 情報理工学部, 教授 (10268154)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
野間 春生 立命館大学, 情報理工学部, 教授 (00374108)
島田 伸敬 立命館大学, 情報理工学部, 教授 (10294034)
木村 朝子 立命館大学, 情報理工学部, 教授 (20324832)
田川 和義 愛知工科大学, 工学部, 教授(移行) (40401319)
佐藤 誠 東京都立大学, システムデザイン研究科, 客員教授 (50114872)
陳 延偉 立命館大学, 情報理工学部, 教授 (60236841)
赤羽 克仁 東京工業大学, 科学技術創成研究院, 助教 (70500007)
小森 優 滋賀医科大学, 医学部, 非常勤講師 (80186824)
広田 光一 電気通信大学, 大学院情報理工学研究科, 教授 (80273332)
平井 慎一 立命館大学, 理工学部, 教授 (90212167)
|
|---|
| Project Period (FY) |
2017-04-01 – 2022-03-31
|
| Keywords | バーチャルリアリティ / ハプティクス / 軟組織シミュレーション / 柔軟手シミュレーション / 多指・手掌力触覚提示装 / 柔軟物インタラクション / 手掌触覚伝遠隔VR実地訓練 |
|---|
| Outline of Annual Research Achievements |
・柔軟手シミュレータの皮膚の変形モデル基づく触覚提示の最適化について,従来のデバイスの自由度不足解決のため新たに皮膚の変形を再現する触覚提示を提案した．また,外形と骨格の個人差に特化した柔軟手モデル構築のため,MRI画像から柔軟手モデルを自動構築する方法を検討した
・人指を模した剛材料と柔材料から成るロボット柔軟指を試作のために,弾性体の設計に関する研究を進め設計パラメータのサンプリング手法を提案した．また,ロボットの柔軟指に装着するMEMS触覚センサの物体識別能力を実現するために,複数DNNとGRUにより98％の識別能力を確認した．また,前年度までに開発した，仮想柔軟指と正弦波状の凹凸構造を持つ被接触物間の面接触シミュレータの精度検証・改良を行うため，透明な凹凸被接触物越しにカメラで接触状況を観察可能な計測環境の構築を行った
・高自由度両手多指力触覚提示のための，提示自由度とエンドエフェクタ構造の設計と,左右手首の干渉を回避し把持力を付加する高自由度触覚デバイスの設計とワイヤ制御方法を検討し,可搬ウェアラブル触覚デバイスの試作を進めた．また,VR，MR環境下の, 映像を併用して疑似的に接触感を再現するデバイスを開発した
・警告文の表示と発話を用いた注意喚起による視聴覚を使用したマルチモーダルな教示システムを開発し評価を進めた．また,外科医の手術シミュレータ操作時の視線計測により,視線集中や手の動きに先行した視線移動,要注意部位の一瞥等の手の動きと視線挙動と関係を分析した．人の手指操作や把持パターンの想起について,物体把持画像の自動収集や複数把持パターンを自動想起する深層モデル及び訓練法について提案した
・異なるモダリティのMRI画像によるグラフ深層学習ネットワークを用いた高精度肝臓腫瘍のセグメンテーション法を開発した
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
・柔軟手指シミュレータ構築は,これまで皮膚の変形モデルの精緻化に注力して進めてきた．提示デバイスの自由度不足問題を回避するため,従来の接触力に代わり皮膚の変形を再現する力の提示法を開発し,被験者を用いた実験から手法の効果を確認した．高精度手指操作を可能にする柔軟手指シミュレーションのために,手の外形に加え骨格に特化した手指モデルを目指し,実験用のMR画像の撮影を行ない,モデル構築手法の開発を進めている
・人指を模した柔軟指から成るソフトハンド試作のため,ソフトハンドにおける弾性体の設計パラメータのサンプリング手法を提案し,実験から手法の有効性を確認した,ソフトハンドに搭載するMEMS触覚センサのため,複数DNNとGRUを用いて98％の識別能力を実現した,触覚センサをロボットに装着する頑強な方式と開発した
・仮想柔軟指と正弦波状の凹凸構造を持つ被接触物間の面接触シミュレータの精度検証・改良のため，透明な凹凸被接触物越しにカメラで接触状況を観察可能な計測環境の構築し,実験結果から接触精度を検証した
・両手多指力触覚提示のための可搬ウェアラブル触覚デバイスを試作し,提示精度を検証した．仮想物体との衝突映像を併用して疑似接触感を提示するデバイスを開発し,実験から映像併用による高品質触感感提示が可能なことを確認した
・外科医の手術シミュレータ操作時の視線計測画像の分析結果に基づき、手術手技工程訓練システムを改良した．また,人の手指操作や把持パターンの想起について,物体把持画像の自動収集や複数把持パターンを自動想起する深層モデル及び訓練法を開発し,実験から提案手法の有効性を確認した．グラフ深層学習ネットワークを用いた肝臓腫瘍のセグメンテーション法を,医用画像解析のトップ国際学会MICCAI2020で発表した．以上から，概ね順調に進展していると思われる．
|
| Strategy for Future Research Activity |
I.実時間柔軟手指シミュレータ構築：皮膚の変形を再現するための力(変形力)を生成して触覚提示に用いる手法について,変形マッチングとして実装し,被験者による評価実験を通して性能を評価する．さらに触覚デバイスとの整合のために,ピンアレイディスプレイを利用した触覚提示や柔軟手モデルの操作について検討する．現状のデバイス技術の自由度不足を補完する,VR物体との接触フィードバックシステムを検討する
Ⅱ.柔軟面接触シミュレーション構築：引き続き計算並列性等を向上させ,指紋を持つ三次元柔軟指先シミュレータの構築を加速し，実測の挙動と比較することで，ヤング率・ポアソン比・粘性係数等のシミュレーションパラメータの検証を行う
Ⅲ.軟組織操作可能な多指手掌力触覚提示装置の開発：体積変化が大きい掌への力覚提示を実現するため，掌の体積変化に対応し同時に軟組織操作が可能な多指手掌力覚提示装置の設計と試作を行う．これまで開発してきたワイヤ駆動型の高自由度両手多指力触覚提示に加え,掌への力覚提示を可能にする設計を行う.可搬性を重視したウェアラブル触覚デバイスを試作し評価を行う
IV.手術手技工程の視触覚モデリングとVRハンズオントレーニング法開発：各手術工程ごとに,熟練医と修練医間の視線の配り方の違いを分析し,抽出した手の動きに伴う視線挙動の特徴を用いて,教示可能な手術手技訓練システムへ拡張する．柔軟物(しこり)のなぞり感覚提示を可能とするウェアラブル型小型触覚提示デバイスを開発する．人の物体把持の接触時の把持姿勢やその後の物体の移動などのイベントを時系列で検知・認識する室内イベント記録システムを実装し,リハビリ用手指計測等への応用システムを検討する
Ⅴ.掌触感を共有する遠隔協働VR環境構築：5G回線を用いた掌触感を共有可能とする遠隔協働VR仮想環境を構築し,視触覚を融合した実証実験と評価を検討する
|
