2017 Fiscal Year Annual Research Report

Pseudo-Hapticsを用いた両手による物体変形操作感覚提示手法

Research Project

Project/Area Number	17H06573
Research Institution	The University of Tokyo
Principal Investigator	伴祐樹東京大学, 大学院工学系研究科(工学部), 特任助教 (20789391)
Project Period (FY)	2017-08-25 – 2019-03-31
Keywords	Pseudo-Haptics / バーチャル物体変形 / 把持力推定
Outline of Annual Research Achievements	本研究の目的は， Pseudo-Hapticsの効果を両手での6軸方向の物体操作に拡張することで，両手を用いたダイナミックな物体変形における深部感覚を操作可能な視触力覚ディスプレイを実現することである．従来から申請者は，Pseudo-Hapticsの原理を活用し，物体に触れる手の姿勢を変調し視覚提示することで，実際に触っている物とは異なる形状の物体を知覚させられる事を確かめてきた．しかし本手法は，自然な姿勢変調の難しさ故に，空間に固定された物体をなぞる程度の3軸自由度での変調しか実現できなかった．本研究はこれを拡張し，手の姿勢認識・操作を深度カメラを用いてより精密に行うことで，回転方向まで考慮した高自由度のバーチャルハンドに対するPseudo-Hapticsの実現を目指している．本年度は回転方向の入力に対するPseudo-Hapticsの効果を検証すると共に，物体に対する力入力方向・量の推定を上腕部の筋電から推定する手法を実現した．前者については，物体に歪みゲージを取り付けることで物体への力入力を計測し，その力の大きさ，方向に合わせてバーチャル物体を変形させつつバーチャルハンド位置，姿勢を操作することで，バーチャル物体の変形感を提示することに成功した．また，前者の検証に際して，センサの貼り付け等物体への応力計測コストが高いことが明らかになったため，物体にはセンサを貼り付けず，ユーザの上腕部に装着した筋電センサから把持物体への負荷力方向，大きさを推定する手法を提案・実装し，その効果を検証した．その結果，円筒形物体に対し，押し，引き，ねじり二方向，曲げ四方向の計八方向の力推定が可能なことを確かめた．加えて，Pseudo-Haptics効果の増強手法についても研究に取り組み，それらの効果を国際，国内学会にて発表した．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 初年度の目標であった，片手での物体操作に対し，バーチャル物体の変形に合わせてヨー・ピッチ・ロール方向の手首の回転量を視覚的に操作し，Pseudo-Hapticsを生起させるアルゴリズムを開発し，その効果を検証できたため，計画はおおむね順調に進展しているといえる．また現在，把持物体への力入力方向・大きさを物体にセンサを貼付することなく推定する技術を開発しつつあり，今後のシステム構築において重要な役割を担うことが期待される．
Strategy for Future Research Activity	前年度構築した手首の回転方向に対するPseudo-Hapticsを，両手を用いた物体変形に拡張し，実際には変形しない物体を把持しているにも関わらず，バーチャル物体を両手で曲げる・捻る等のダイナミックな変形体験が可能な姿勢操作FBを構築する．片手変形操作に比べ物体位置が固定でないため，物体表面にマーカを貼り付け，カメラによるトラッキングを行う．片手操作におけるPseudo-Hapticsに対し，両手操作では，操作点間の空間的整合性を担保する必要があるが，多点接触時における視覚フィードバック映像の空間的整合性の担保の方法については，申請者の過去の研究により既に構築済みであり，大きな問題にはならないと考えられる．加えて，前年度構築した前腕部筋電による把持物体への力入力方向・大きさ推定技術を用いて，本Pseudo-Hapticsシステムを実現できるか検証し，実物体に力計測センサを貼付する必要のない簡易なシステムの実現を目指す．最終的に，前年度に明らかにした研究成果と合わせ，雑誌論文や国際会議にて研究結果を発表する．