本研究では、従来可能であった内容語と動詞のみからなる単純な物体操作指示発話を用いた学習を、機能語である格助詞を含んだ文にまで拡張することが目的であった。 動作と発話(格助詞を含む)からなる人間の行為に対して、ロボットが、動作と発話(格助詞を含む)で応答することを学習するニューラルネットワークモデルの開発に成功した。本手法におけるオリジナルな特徴は次の三つである:(1)人間の動作、発話、状況画像の情報を入力。(2)ロボットの動作、発話の情報を出力。(3)複数種類の発話行為に対して適応的に応答可能。 さらに、このモデルを用いて、統合失調症患者の言語コミュニケーションのモデル化にも成功した。
|