2011 Fiscal Year Annual Research Report
Project/Area Number |
22500179
|
Research Institution | Nihon University |
Principal Investigator |
岡 哲資 日本大学, 生産工学部, 准教授 (00282921)
|
Keywords | 生活支援ロボット / マルチモーダル / 言語 / コミュニケーション / 音声 / ジェスチャ / タッチスクリーン / インタラクション |
Research Abstract |
1.マルチモーダル言語の設計:まず、生活支援ロボットとその利用者のコミュニケーションのための双方向マルチモーダル言語を二種類設計した。一つ目は、ロボットによる物体移動の指示を目的とした言語である。これは、利用者からの音声とタッチスクリーン上のカメラ画像の指さしによるマルチモーダル命令とロボットからの画面表示および音声メッセージを含む。二つ目は、ロボットとの対面コミュニケーションを目的とした言語である。この言語は、利用者からの音声と手の三次元動作によるマルチモーダル命令とロボットからの前方スクリーン表示および効果音によるメッセージを含む。さらに、後述の利用者評価の結果に基づいて、それぞれの言語の改良点、幅広い生活支援に応用可能な双方向マルチモーダル言語の仕様を検討した。 2.ソフトウェアの開発:1.の各マルチモーダル言語で、物体移動の命令、対面コミュニケーション開始が可能な生活支援ロボットのソフトウェアを開発した。これによって個別の生活支援における言語とロボットの利用者評価が可能になった。 3.個別の生活支援に関する利用者評価:まず、一つ目のマルチモーダル言語の利用者評価を行った。その結果、タッチスクリーンに表示されたロボットのカメラ画像のタッチと音声命令を同時に行うことで、初心者でも短時間のビデオの視聴後にロボットの旋回目標、物体の位置と移動目標を伝達できることなどが確認された。次に、手の三次元動作の認識に関する利用者評価を行い、音声と手の動作を組み合わせた意図伝達が高い成功率で行える見通しを得た。その後、開発した実ロボットを用いた二つ目の言語の利用者評価を行い、初心者でも短時間のビデオの視聴後にロボットを自分の方に向ける命令、前進・後退の命令、自分の近くに移動させる命令が音声と手の三次元動作を組み合わせ、問題なく行えることなどを確認した。一連の利用者評価の結果から、習得と日常での使用が容易な言語の設計に関する知見、初心者に提示すべき情報についての知見など、生活支援ロボットの実用化に関する有用な成果が得られた。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
生活支援のための意図伝達を可能にする双方向マルチモーダル言語の枠組みの設計、部分的な詳細の設計、個別の生活支援に関する利用者評価で得られた知見から、幅広い生活支援のための言語の仕様書の作成が可能な段階に到達した。また、生活支援ロボットのハードウェアとソフトウェアの開発が進み、これらの拡張と追加の開発によって、初期の計画で最終年度に予定していた複数の生活支援に関する利用者評価が行える見通しを得ている。
|
Strategy for Future Research Activity |
ロボットと物体の移動に加えて物体の受け渡しや機器操作などを含めた幅広いタスクに対応したマルチモーダル言語の仕様を策定し、言語仕様書を作成する。また、複数の性質の異なる生活支援を受けるための意図伝達に関する利用者評価を行い、その結果から言語習得の容易さ、問題点、今後の課題を明らかにする。開発済みのロボットシステムをベースに利用者評価用のシステムを実現し、同じ利用者による音声、ジェスチャ、接触などを組み合わせた多様な生活支援のための意図伝達、ロボットと利用者のさまざまな位置関係でのコミュニケーションを念頭に置いた利用者評価を行う。
|
Research Products
(5 results)