| 研究概要 |
【概要】
本研究では、CCDカメラとマイク,モーションセンサを搭載したマルチモーダルヘッドセットを実装し、コミュニケーションコンテンツの獲得および、頷きから会話内容に対する意味づけが行えるシステムを構築した。さらに、頷き動作は個人差の大きな行動であるため、頷きの種類と意図をモデル化し個別化に対応できる枠組みを考案した。コミュニケーションだけでなくスポーツや作業支援におけるデバイスおよびモデルの利用を試みた。
【具体的成果】
1.小型マルチモーダルヘッドセットの開発
コンテンツを収集するためのCCDカメラとマイク、頭部の動きを検出するためのモーションセンサを搭載したヘッドセットを実装した。常時装着可能なマルチモーダルヘッドセットを実現するため、モーションセンサとしてどのようなセンサを利用するか検討した。
2.頷き・相槌によるユーザの意図理解モデルの検討
意図情報をセンサ信号処理により獲得するためのモデルを考案した。頷きの種類、タイミング、速さなどを常時測定しデータベースに蓄積する。頷きは個人により対応する意図が異なるため、個別情報として定義し、データベースに格納した情報と比較することで、ユーザの意図を判断できるシステムを構築した。
3.意図情報を付与したマルチモーダル知識コンテンツの蓄積と検索システムの実現
立ち話の場における、複数人の頷き情報とビデオコンテンツを統合し、「盛り上がった議論」や「納得できなかった話」といった検索が行え、検索結果をビデオダイジェストとして提供できるデータベースシステムのプロトタイプを構築した。
|
