研究課題
本研究の目的は、人間同士のコミュニケーション中に表出される非言語(ジェスチャ)パターンを抽出するデータマイング手法を構築し、これにより抽出したパターン群から、認識モデルを構築することである。会話データから得られる大量の非言語情報をマイニングする手法は、ジェスチャ分析者の人手による分析の効率・質を改善出来る。また得られたパターンおよび認識モデルは会話ロボット・エージェントのセンシング機能として重要である。本研究では実際の会話シーンを環境モーションセンサ・マイクなどのデバイスでマルチモーダル時系列データとして取得し、このデータに対してデータマイニングを行う事により、対話のコンテキストとダイナミクスに依存して起こる非言語パターンを特定し、このパターンを認識するためのマルチモーダルイベント列モデルを構築する。22年度は複数人対話中に表出される非言語パターン(頭部・ハンドジェスチャ・音声の有無)を抽出するために、二つのデータマイニング手法を提案した。一つ目はユーザによる少量のアノテーションデータを教師ラベルデータとして、環境モーションセンサから得られた大量のラベル無し時系列データを効率よく分類可能な半教師付き分類手法、二つ目はクラス数が未知の系列データ集合からクラスタリングを行えるオンラインクラスタリング手法であり、従来手法より高精度に時系列パターンを分類、クラスタリング出来る事を示した。これらの系列マイニング手法を用いた分析の結果より、対話のコンテキストとダイナミクスに依存して起こるマルチモーダルパターンを特定した。パターンの組み合わせと同時に、パターンが出現するタイミングも特定のパターンを識別するために重要であることがわかった。今年度は、上記のデータマイニング機構を10組(計三十人)のデータに対して適用し、分析を進め、話者・聞き手の非言語パターンの生起する関係を明らかにし、パターンを特定する。また、特定した各モダリティの時系列パターンのタイミング構造を加味した上で、これらのパターンを頑健に認識するためのマルチモーダルイベント列モデルを構築する。
すべて 2011 2010
すべて 雑誌論文 (2件) (うち査読あり 2件) 学会発表 (11件)
Springer Journal of AI & Society
巻: Vol.25,Num.2 ページ: 155-168
http://link.springer.com/article/10.1007%2Fs00146-009-0248-8
日本神経回路学会論文誌
巻: Vol.17, No.4 ページ: 174-186
