Non-verbal Communication based on Mutual Understanding between Human and Robot

2018 Fiscal Year Final Research Report

• Project/Area Number: 16K12495
• Research Category: Grant-in-Aid for Challenging Exploratory Research
• Allocation Type: Multi-year Fund
• Research Field: Soft computing
• Research Institution: Tokyo Metropolitan University
• Principal Investigator: Kubota Naoyuki 首都大学東京, システムデザイン研究科, 教授 (30298799)
• Co-Investigator(Kenkyū-buntansha): 武田 隆宏 第一工業大学, 工学部, 助教 (70748186) ; 大保 武慶 東京工芸大学, 工学部, 助教 (60771889)
• Research Collaborator: WOO jinseok
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: ノンバーバルコミュニケーション / ジェスチャ / 協調的理解 / ロボットパートナー

Outline of Final Research Achievements

Recently, the importance of non-verbal communication has been increasing in the study on human-robot coexisting, but most of them focus on the simple gestures for proto-pointing and for command to control robots. Therefore, in this study, we discuss the methodology to realize (1) cooperative understanding of referential intention and social intention included in pointing (2) iconic gestures used for communication between human and robot from constructivism approach and systems approach. In this report, we propose the recognition method for pointing gestures and iconic gestures. Next, we conduct several experiments using the proposed method and discuss the effectiveness of the proposed method. Finally, we discuss the future research direction on the mutual understanding of non-verbal communication.

Free Research Field

知能ロボット

Academic Significance and Societal Importance of the Research Achievements

本研究は、人間とロボットが共生するためのノンバーバルコミュニケーションの一つとして指さしと物まねを学際的な観点から議論した点が学術的な特色である。特に、物まねに基づくアイコン的ジェスチャの認識は、行為的表象、映像的表象、象徴的表象の相互互換性が重要であり、相関的な学習が必要不可欠であることがわかった。また、指さしによる多段階の伝達意図の理解は状況依存性が高い反面、成功すれば、少ないジェスチャで多くを伝えあえることもわかった。本研究を通して得られた成果や知見は、原初的コミュニケーションなどを扱う認知発達心理学や生態心理学をはじめ、発達障害に関する療育など様々な研究分野の発展にも貢献できる。