2023 Fiscal Year Research-status Report
空間共有感を強化する半自律遠隔身体接触システムの研究開発
| Project/Area Number |
22K12126
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
田中 一晶 京都工芸繊維大学, 情報工学・人間科学系, 准教授 (70721877)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岡 夏樹 宮崎産業経営大学, 経営学部, 教授 (20362585)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | ロボットハンド / VR / 触覚センサ / ソーシャルタッチ / 鏡型ビデオ通話 / 画像復元 / ハンドトラッキング |
|---|
| Outline of Annual Research Achievements |
ロボットハンドを握るユーザの手の動きを取得するために昨年度に開発した，シリコン電極の静電容量式センサにおいて，撫でる，くすぐる等の接触動作だけでなくセンサを押す強弱をも識別可能であること（9状態のテストデータの識別において85.5％の正解率），その識別モデルであるLSTM（Long Short-Term Memory）モデルにおいてリアルタイムに識別結果を表示できること（約0.01秒程度の遅延）を示し，インタラクション2024の口頭発表に採択された（採択率39％）．
ロボットハンドを握る操作者の手の動きを取得する上で上記のセンサの他に，カメラ映像から手の動きを取得する既存の姿勢推定モデルを使用する方法もある．その場合，ロボットハンドによって手が隠れてしまう問題が発生する．これに対し，生成AIの一種である画像復元モデルによって手を隠蔽している物体を消去し，何にも隠れていない手の画像を生成することで既存の姿勢推定モデルをそのまま活用することが可能になる．インタラクション2024のインタラクティブ発表にてこのシステムのデモ発表を行った．
また，昨年度は相手の姿をHMDで3次元的に表示し，その手の位置にロボットハンドを設置することで直接相手に触れられるシステムを開発した．しかしながら，このシステムでは，相手の3Dモデルが必要である他，HMDを装着する煩わしさがある．これに対し，相手の映像をそのまま使用することができ，機器を装着しなくても相手との高い空間共有感が得られるように，鏡型ビデオ通話と相手の横顔映像を表示する衝立とを組み合わせたシステムを開発した．この成果は対外発表に向け，追加実験を準備中である．
その他，遠隔握手において手の動かし方やインタフェースの違いによる効果の検証結果をまとめて国際ジャーナルであるFrontiers in Robotics and AIに投稿し採択された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
昨年度に開発したセンサの性能評価において査読付き国内会議に採択された他，新たに開発中のロボットハンドの操作インタフェースに関する研究が進展した．また，関連する成果をまとめた論文が国際ジャーナルに採択されたため．
|
| Strategy for Future Research Activity |
ロボットハンドに組み込む等，開発したセンサのより実用場面を想定した評価を実施する．また，ロボットハンドを活用した遠隔身体接触インタフェースを完成させ，空間共有感等の効果を評価する．
|
| Causes of Carryover |
独立基盤形成支援により初年度に3Dプリンタを購入したことでロボットハンド製作の費用を大幅に削減することができた．また，学会発表やその参加費を他予算で支出したため，次年度使用額が生じた．次年度では，学会参加費，論文掲載費等で使用する予定である．
|
