Improving tactile sensation reproduction by deep learning in distributed cooperative training for skill transfer

2020 Fiscal Year Final Research Report

• Project/Area Number: 17K00493
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Learning support system
• Research Institution: The Open University of Japan
• Principal Investigator: Asai Kikuo 放送大学, 教養学部, 教授 (90290874)
• Co-Investigator(Kenkyū-buntansha): 高野 邦彦 東京都立産業技術高等専門学校, ものづくり工学科, 准教授 (10353260) ; 佐藤 誠 東京都立大学, システムデザイン研究科, 客員教授 (50114872)
• Project Period (FY): 2017-04-01 – 2021-03-31
• Keywords: 触力感覚 / インタフェース / 情報可視化 / 立体像表示

Outline of Final Research Achievements

In order to acquire a skill, it is necessary to experience the skill of a person who is proficient in it. In this study, in order to exchange sensory information through sensory interaction, we constructed an interface that reproduces the tactile sensation and improved the visual presence of the presentation system for sharing sensory interaction. In the interface that reproduces the tactile sensation, in order to reduce the delay due to remote communication, the finger movement was predicted from the myoelectric signal using a deep learning method. In the visual realism of the presentation system, the image quality of the holographic reproduction image was improved.

Free Research Field

ヒューマンコンピュータインタラクション

Academic Significance and Societal Importance of the Research Achievements

体感的インタラクションを遠隔で共有する際、その通信に伴う遅延が問題になっていた。本研究はこの問題に対して、筋電信号が動作に先行するという特性を利用することにより対処しようとした。畳み込みニューラルネットワークを用いた学習を行うことにより、動作を高い精度で予測できるようになったことは様々な応用を期待させる。また、視覚的臨場性の改善においてホログラフィ再生像の性能向上はホログラフィによる3Dテレビの社会実装へと一歩近づいたと言える。