|
一般利用者が生活支援ロボットとコミュニケーションするための双方向マルチモーダル言語の検討を行い、概要設計と部分的な詳細設計を行った。まず、タッチスクリーンと音声に基づく言語を設計した。利用者は、音声、タッチスクリーン上の画像の指差し、2Dジェスチャ、ボタン操作を組み合わせて意図を伝達する。ロボットは、音声、タッチスクリーン上の文字、アイコン、ボタンの表示によって、伝達済みの情報、ロボットの状態、利用者が伝達できる情報などを伝達する。また、物体移動の意図伝達ための言語を詳細設計し、21名の初心者による評価を行った。さらに、音声と両手の動きを利用して、ロボットの移動および物体の移動の意図を伝達する言語の概要設計を行った。言語の設計は、幅広い利用者によるロボットに支援要求を容易にするために重要である。これらの成果をもとに、今後マルチモーダル言語全体の詳細設計を行う。
音声及びタッチスクリーン上の画像とボタンの指さしに基づいて、利用者の意図を理解するシステムを実装した。両手の動きから利用者の意図に関する情報(例えば、合図、ロボットの移動量、物体の高さなど)を抽出するステレオ視覚システム、加速度センサとジャイロセンサを用いた、手の回転運動による意図情報抽出システム(ロボットの旋回方向や角度など)を実装し、生活支援ロボットへの応用の見通しを得た。
車輪型移動ロボットにノート型PC、タッチスクリーン、ステレオカメラ、距離画像センサ、ドリンクホルダ、カゴを搭載し、椅子に座った利用者とのコミュニケーションを想定した生活支援ロボットのハードウェアを構築した。また、グリッパつき7自由度アームと距離画像センサを組み合わせ、物の受け渡しが行える評価用プラットフォームを構築した。今後、専門知識のない利用者と生活支援ロボットのコミュニケーションに関する研究にこれらのハードウェアを活用する。
|
