空間共有感を強化する半自律遠隔身体接触システムの研究開発
| Project/Area Number |
22K12126
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
田中 一晶 京都工芸繊維大学, 情報工学・人間科学系, 准教授 (70721877)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岡 夏樹 宮崎産業経営大学, 経営学部, 教授 (20362585)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | ロボットハンド / VR / 触覚センサ / ソーシャルタッチ / 鏡型ビデオ通話 / 画像復元 / ハンドトラッキング / 半自律 |
|---|
| Outline of Research at the Start |
離れて暮らす家族や恋人と触れ合う接触動作を再現する遠隔身体接触システムが提案されているが，孤独感から生じる心身の病は未だ社会問題となっている．本研究では，相手の接触動作をそのまま再現するだけでなく，機械学習技術で生成した接触動作も自律的に実行することで身体接触を促進し，空間共有感（相手と同じ空間にいる感覚）を強化する半自律遠隔身体接触システムを開発する．
|
| Outline of Annual Research Achievements |
ロボットハンドを握るユーザの手の動きを取得するために昨年度に開発した，シリコン電極の静電容量式センサにおいて，撫でる，くすぐる等の接触動作だけでなくセンサを押す強弱をも識別可能であること（9状態のテストデータの識別において85.5％の正解率），その識別モデルであるLSTM（Long Short-Term Memory）モデルにおいてリアルタイムに識別結果を表示できること（約0.01秒程度の遅延）を示し，インタラクション2024の口頭発表に採択された（採択率39％）．
ロボットハンドを握る操作者の手の動きを取得する上で上記のセンサの他に，カメラ映像から手の動きを取得する既存の姿勢推定モデルを使用する方法もある．その場合，ロボットハンドによって手が隠れてしまう問題が発生する．これに対し，生成AIの一種である画像復元モデルによって手を隠蔽している物体を消去し，何にも隠れていない手の画像を生成することで既存の姿勢推定モデルをそのまま活用することが可能になる．インタラクション2024のインタラクティブ発表にてこのシステムのデモ発表を行った．
また，昨年度は相手の姿をHMDで3次元的に表示し，その手の位置にロボットハンドを設置することで直接相手に触れられるシステムを開発した．しかしながら，このシステムでは，相手の3Dモデルが必要である他，HMDを装着する煩わしさがある．これに対し，相手の映像をそのまま使用することができ，機器を装着しなくても相手との高い空間共有感が得られるように，鏡型ビデオ通話と相手の横顔映像を表示する衝立とを組み合わせたシステムを開発した．この成果は対外発表に向け，追加実験を準備中である．
その他，遠隔握手において手の動かし方やインタフェースの違いによる効果の検証結果をまとめて国際ジャーナルであるFrontiers in Robotics and AIに投稿し採択された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
昨年度に開発したセンサの性能評価において査読付き国内会議に採択された他，新たに開発中のロボットハンドの操作インタフェースに関する研究が進展した．また，関連する成果をまとめた論文が国際ジャーナルに採択されたため．
|
| Strategy for Future Research Activity |
ロボットハンドに組み込む等，開発したセンサのより実用場面を想定した評価を実施する．また，ロボットハンドを活用した遠隔身体接触インタフェースを完成させ，空間共有感等の効果を評価する．
|
Report
(2 results)
Research Products
(9 results)
