Personalization and recalibration of haptics interaction by deep learning in distributed collaborative training for skill transfer

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K12113
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 62030:Learning support system-related
• Research Institution: The Open University of Japan
• Principal Investigator: Asai Kikuo 放送大学, 教養学部, 教授 (90290874)
• Co-Investigator(Kenkyū-buntansha): 高野 邦彦 東京都立産業技術高等専門学校, ものづくり工学科, 准教授 (10353260) ; 佐藤 誠 東京都立大学, システムデザイン研究科, 客員教授 (50114872)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 触力感覚 / 立体像表示 / 畳み込みニューラルネットワーク / インタフェース / 情報可視化

Outline of Final Research Achievements

In order to share tactile sensations through bodily interaction, we improved the reproducibility of the haptic interface and improved the color reproduction characteristics of holography, which presents objects with a sense of visual presence. In the haptic interface, in order to improve the accuracy of estimating finger movements and force input from myoelectric signals using deep learning techniques, we have increased the number of sensors, changed the conversion method of input to the model, and changed the transfer method. I applied my learning. For the visual realism of the presentation system, the image quality was improved by expanding the color gamut of the holographic reconstruction.

Free Research Field

ヒューマンコンピュータインタラクション

Academic Significance and Societal Importance of the Research Achievements

触力感覚を遠隔で共有する場合、その通信に伴う遅延が触力感覚の再現精度を低下させる。本研究はこの問題に、筋電信号が動作に先行するという特性を利用する。深層学習の手法が筋電信号に基づく手指の動きや力加減の推定において非固有特徴を捉えることにある程度機能したことはこの仕組みの有用性と応用可能性を示唆する。また、視覚的臨場性においてホログラフィ再生像の色再現性の向上はホログラフィのカラー再生によるディスプレイの普及へと一歩近づいたと言える。