Multimodal Language Acquisition by Robots - Learning Case Particles
| Project/Area Number |
15K00244
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Research Field |
Perceptual information processing
|
|---|
| Research Institution | Okayama Prefectural University |
|---|
Principal Investigator |
Iwahashi Naoto 岡山県立大学, 情報工学部, 教授 (90394999)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Project Status |
Completed (Fiscal Year 2018)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2017: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2016: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2015: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
|
|---|
| Keywords | 記号創発ロボティクス / ヒューマンロボットインタラクション / 機械学習 / コミュニケーションモデル / ニューラルネットワーク / 言語獲得 / マルチモーダル / ディープラーニング / ロボット / 格助詞 / 総計的機械翻訳 / シーケンス間変換モデル |
|---|
| Outline of Final Research Achievements |
The purpose of this research was to extend the learning using simple object manipulation instruction utterance consisting only of content words and verbs, which was conventionally possible, to sentences including case particles that are functional words.
We have successfully developed a neural network model that learns that robots respond to motion and speech (including case particles) with motion and speech (including case particles). The original features in this method are the following three: (1) Input information of human motion, speech, and situation image. (2) Output information on robot operation and speech. (3) Adaptively respond to multiple types of speech acts.
Furthermore, using this model, we also succeeded in modeling verbal communication in schizophrenic patients.
|
| Academic Significance and Societal Importance of the Research Achievements |
ロボットが、人間とのマルチモーダルなコミュニケーションを通して、実世界の事物に直接グラウンドしない機能語である格助詞とその文法上の機能を学習する手法は極めて独創的である。
動作と発話からなる人間の行為に対して、ロボットが、動作と発話で応答できるニューラルネットワークモデルを世界に先駆けて開発したことは、日本のディープラーニングのロボティクスおよび言語処理応用研究における高い競争力の維持に大いに貢献している。
さらに、精神科医療に対して、人工知能研究が貢献する道筋をつけることができたことは医学的にも大きな意義がある。
|
Report
(5 results)
Research Products
(18 results)
