|
まず、前年度までの成果を踏まえ、生活支援ロボットへの意図伝達を行うための音声・ジェスチャ・接触・画面表示での双方向マルチモーダル言語の基本仕様を策定した。次に、言語およびロボットの有効性と問題点を確認するため、家電操作を中心とした意図伝達の利用者評価システムを開発し、初心者による評価を行った。
利用者の意図は、音声の命令文とノンバーバルメッセージ（ジェスチャ、ロボットの体のタッチ、画面タッチなど）を同時に組み合わせたマルチモーダルメッセージで伝達する。ノンバーバルメッセージの冗長性は、メッセージ誤検出の削減、音声誤認識の訂正、伝達方法の覚えやすさをねらったものである。例えば、右手を顔の高さまで上げながら、「テレビをつけろ」という。1つのマルチモーダルメッセージで全てを伝達することが難しい場合は、対話的に追加情報を伝達する。これは、利用者の負担を減らすとともに認識率を高め、意図の伝達を確実にするためである。
ロボットは利用者が円滑に意図伝達を行えるように、画面表示で誘導する。例えば、マルチモーダルメッセージの受付が可能なときは、利用者への注目を表す顔とノンバーバルメッセージのためのボタン・アイコンを表示する。また、意図の解釈を提示し、利用者による確認と訂正を容易にする。
利用者評価によって、現状の音声認識、人物追跡とジェスチャ認識技術で、意図伝達の実用に耐える確実性を実現できる見通しを得た。本課題で開発したジェスチャ検出システムでは、利用者がロボットから1.5m程度離れた位置で、誤検出・誤認識が殆どなく、したがってマルチモーダルメッセージの誤検出が殆どないことが分かった。また、多様な意図の認識のための音声認識、利用者から離れた位置のマイクによる音声認識などの課題も明らかになった。さらに、利用者評価、アンケートと記憶テストの結果などから、意図伝達の容易さに関する重要な知見が得られた。
|
