• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of Smart Assistant System Using Nonverbal Information

Research Project

Project/Area Number 19K21541
Project/Area Number (Other) 18H06473 (2018)
Research Category

Grant-in-Aid for Research Activity Start-up

Allocation TypeMulti-year Fund (2019)
Single-year Grants (2018)
Review Section 1002:Human informatics, applied informatics and related fields
Research InstitutionUniversity of Tsukuba

Principal Investigator

kawaguchi ikkaku  筑波大学, システム情報系, 助教 (80826975)

Project Period (FY) 2018-08-24 – 2021-03-31
Project Status Completed (Fiscal Year 2020)
Budget Amount *help
¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2019: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2018: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywordsスマートアシスタント / 音声インタフェース / 非言語的情報 / コミュニケーションロボット
Outline of Research at the Start

近年普及が進むスマートアシスタントでは、コマンド認識のためにウェイクワードが必要になるという制約により、真に「対話的」なインタラクションが実現されていない。これに対して、本研究では人間同士のコミュニケーションにおいて会話の開始・継続に用いられる「注視」を活用する手法を提案する。提案システムでは、スマートアシスタントにユーザーの注視を検出する機能と、システム側からも注視を提示する機能を付与する。これによりウェイクワードを必要としないより自然なインタラクションの実現を目指す。

Outline of Final Research Achievements

In this study, we aimed to develop a method that eliminates the wake-up word constraint that occurs in existing smart speakers, and starts command recognition at the appropriate timing required by the user. To achieve this, we focused on "gaze", which is used to initiate conversation in human communication, and developed the smart speaker system that can use gaze. The results of evaluation experiments using the developed system showed that the usability and impression of the system were improved by using the input and output of gaze.

Academic Significance and Societal Importance of the Research Achievements

本研究では、人間が普段対話の開始に用いている注視の入出力をシステムに取り入れることで、スマートスピーカの操作性や印象が向上することを示した。この際、システムがユーザの注視を検出するだけでは効果が低く、ユーザの注視に対してシステム側からも注視を返し相互注視が成立する場合に最も効果が高くなるという知見が得られた。この知見は、本研究の対象としたスマートスピーカだけでなく、近年増加している注視や顔検出を用いるインタフェースの操作性や印象の向上につながるものである。

Report

(4 results)
  • 2020 Annual Research Report   Final Research Report ( PDF )
  • 2019 Research-status Report
  • 2018 Annual Research Report
  • Research Products

    (6 results)

All 2020 2019 Other

All Int'l Joint Research (2 results) Journal Article (2 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 2 results,  Open Access: 1 results) Presentation (2 results) (of which Int'l Joint Research: 1 results)

  • [Int'l Joint Research] ストックホルム大学(スウェーデン)

    • Related Report
      2019 Research-status Report
  • [Int'l Joint Research] Stockholm University(スウェーデン)

    • Related Report
      2018 Annual Research Report
  • [Journal Article] The Effect of Interaction Using Gaze Input / Output on Smart Speaker2019

    • Author(s)
      川口 一画, 葛岡 英明, マクミラン ドナルド
    • Journal Title

      The Transactions of Human Interface Society

      Volume: 21 Issue: 3 Pages: 269-278

    • DOI

      10.11184/his.21.3_269

    • NAID

      130007695419

    • ISSN
      1344-7262, 2186-8271
    • Year and Date
      2019-08-25
    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Designing with Gaze: Tama--a Gaze Activated Smart-Speaker2019

    • Author(s)
      McMillan, D., Brown, B., Kawaguchi, I., Jaber, R., Solsona Belenguer, J., & Kuzuoka, H.
    • Journal Title

      Proceedings of the ACM on Human-Computer Interaction

      Volume: Vol. 3, No. CSCW Issue: CSCW Pages: 1-26

    • DOI

      10.1145/3359278

    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Presentation] 視線情報を用いたアウェアネスの提示による遠隔対話の生起支援2020

    • Author(s)
      田之頭 吾音,川口 一画,志築 文太郎,高橋 伸
    • Organizer
      WISS2020
    • Related Report
      2020 Annual Research Report
  • [Presentation] Designing with Gaze: Tama -- a Gaze Activated Smart-Speaker2019

    • Author(s)
      Barry Brown
    • Organizer
      CSCW2019
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research

URL: 

Published: 2018-08-27   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi