Research on Silent interaction with deep neural networks

2021 Fiscal Year Final Research Report

• Project/Area Number: 19H04148
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61020:Human interface and interaction-related
• Research Institution: The University of Tokyo
• Principal Investigator: Rekimoto Jun 東京大学, 大学院情報学環・学際情報学府, 教授 (20463896)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: サイレントスピーチ / 人間拡張 / 人工知能 / 音声処理 / 深層学習

Outline of Final Research Achievements

Speech interfaces are rapidly becoming popular, but there are some limitations, such as their inability to be used in public or noisy environments. In this project, we studied silent speech recognition using deep learning. We constructed a deep learner that recognizes speech content from intraoral images observed by an ultrasonic imaging probe attached to the underside of the jaw, a mechanism that estimates speech from acceleration sensors attached to the jaw and throat for skin movement, and a mechanism that recognizes speech by acceleration sensors attached to a mask. We confirmed that the system can drive a smart speaker or other spoken dialogue system. Furthermore, we succeeded in constructing a multimodal interface that combines eye gaze information and command recognition from lip images.

Free Research Field

人間拡張学

Academic Significance and Societal Importance of the Research Achievements

本研究成果により、音声インタラクションが公共環境や騒音環境で利用できないなどの従来の制限を超えて利用できる可能性が出てきた。音声インタラクションは他の入力手段と比較しても高速で、手指を拘束しないなどの特徴を持つ。未来のモバイルインタフェースやウェアラブルインタフェースの手段としてサイレントスピーチが広範に利用される可能性がある。さらに、咽頭障害、声帯機能障害、高齢による発声困難者に対して、声によるコミュニケーションを取り戻すための支援技術としての利用意義がある。