Development of Smart Assistant System Using Nonverbal Information

2020 Fiscal Year Final Research Report

• Project/Area Number: 19K21541
• Project/Area Number (Other): 18H06473 (2018)
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Multi-year Fund (2019); Single-year Grants (2018)
• Review Section: 1002:Human informatics, applied informatics and related fields
• Research Institution: University of Tsukuba
• Principal Investigator: kawaguchi ikkaku 筑波大学, システム情報系, 助教 (80826975)
• Project Period (FY): 2018-08-24 – 2021-03-31
• Keywords: スマートアシスタント / 音声インタフェース / 非言語的情報 / コミュニケーションロボット

Outline of Final Research Achievements

In this study, we aimed to develop a method that eliminates the wake-up word constraint that occurs in existing smart speakers, and starts command recognition at the appropriate timing required by the user. To achieve this, we focused on "gaze", which is used to initiate conversation in human communication, and developed the smart speaker system that can use gaze. The results of evaluation experiments using the developed system showed that the usability and impression of the system were improved by using the input and output of gaze.

Free Research Field

ヒューマンコンピュータインタラクション

Academic Significance and Societal Importance of the Research Achievements

本研究では、人間が普段対話の開始に用いている注視の入出力をシステムに取り入れることで、スマートスピーカの操作性や印象が向上することを示した。この際、システムがユーザの注視を検出するだけでは効果が低く、ユーザの注視に対してシステム側からも注視を返し相互注視が成立する場合に最も効果が高くなるという知見が得られた。この知見は、本研究の対象としたスマートスピーカだけでなく、近年増加している注視や顔検出を用いるインタフェースの操作性や印象の向上につながるものである。