Multimodal Language Acquisition by Robots - Learning Case Particles

2018 Fiscal Year Final Research Report

• Project/Area Number: 15K00244
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Perceptual information processing
• Research Institution: Okayama Prefectural University
• Principal Investigator: Iwahashi Naoto 岡山県立大学, 情報工学部, 教授 (90394999)
• Project Period (FY): 2015-04-01 – 2019-03-31
• Keywords: 記号創発ロボティクス / ヒューマンロボットインタラクション / 機械学習

Outline of Final Research Achievements

The purpose of this research was to extend the learning using simple object manipulation instruction utterance consisting only of content words and verbs, which was conventionally possible, to sentences including case particles that are functional words.
We have successfully developed a neural network model that learns that robots respond to motion and speech (including case particles) with motion and speech (including case particles). The original features in this method are the　following three: (1) Input information of human motion, speech, and situation　image. (2) Output information on robot operation and speech. (3) Adaptively respond to multiple types of speech acts.
Furthermore, using this model, we also succeeded in modeling verbal communication in schizophrenic patients.

Free Research Field

人工知能

Academic Significance and Societal Importance of the Research Achievements

ロボットが、人間とのマルチモーダルなコミュニケーションを通して、実世界の事物に直接グラウンドしない機能語である格助詞とその文法上の機能を学習する手法は極めて独創的である。
動作と発話からなる人間の行為に対して、ロボットが、動作と発話で応答できるニューラルネットワークモデルを世界に先駆けて開発したことは、日本のディープラーニングのロボティクスおよび言語処理応用研究における高い競争力の維持に大いに貢献している。
さらに、精神科医療に対して、人工知能研究が貢献する道筋をつけることができたことは医学的にも大きな意義がある。