| 研究概要 |
本研究の目的は、人間同士のコミュニケーション中に表出される非言語(ジェスチャ)パターンを抽出するデータマイング手法を構築し、これにより抽出したパターン群から、認識モデルを構築することである。会話データから得られる大量の非言語情報をマイニングする手法は、ジェスチャ分析者の人手による分析の効率・質を改善出来る。また得られたパターンおよび認識モデルは会話ロボット・エージェントのセンシング機能として重要である。本研究では実際の会話シーンを環境モーションセンサ・マイクなどのデバイスでマルチモーダル時系列データとして取得し、このデータに対してデータマイニングを行う事により、対話のコンテキストとダイナミクスに依存して起こる非言語パターンを特定し、このパターンを認識するためのマルチモーダルイベント列モデルを構築する。23年度は観測ノイズにロバストな動作認識システムと,時系列パターンの発見手法を用いて,三人会話における説明シーンから観測された手の動作(ジェスチャ),頭の動作(頷き),発話有無,といったマルチモーダルパターンを自動抽出し,インタラクションルールの抽出を行った.この結果,同じ内容を説明するタスクにおいて,協調的に説明を行うスタイル,一方が説明を主体的に行い,一方が説明を補助するスタイルなどが,ジェスチャパターンの変化から分類出来ることを示した.また,マルチモーダルパターンの遷移から,説明者の説明が言い淀みなどで突然途切れる場合,聞き手の頷きのタイミングも変化することが示された.この結果を利用して聞き手・話し手の非言語特徴を統合して学習モデルを訓練することにより,話し手の非言語情報だけを特徴量とした場合よりも言い淀みシーン話に割り込むシーンの認識精度が約30%改善された。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
二年目までの目的としていた,非言語パターンの抽出のためのデータマイング機構と,非言語パターンのマイニング・会話状況を表すマルチモーダルパターンの認識器のプロトタイプを構築し,実際の会話データから非言語パターン・マルチモーダルパターンとして定義される会話コンテキストパターンの抽出を行った.二年目までの計画を概ね達成しているため、研究が順調に進んでいると考える.
|
| 今後の研究の推進方策 |
本年度は,データマイニング・パターン認識器を統合したシステムの総合評価・洗練化を行う.パターン認識モデルについて、現在簡易的なパターンマッチングによる手法を採用しているため,マルチモーダルパターンのダイナミクスを扱える時系列データの認識モデルを構築し,パターンマッチングの手法とを比較評価する.また当初,単語レベルで音声認識を行い単語パターンをジェスチャ認識モデルの入力に加える予定であったが,本研究で扱うアニメーション課題の説明会話では,単語内容より,話し手・聞き手の頭・手の動作・発話有無などの非言語パターンの種類とそのダイナミクスがパターン認識に重要である事を確認したため,非言語パターンのみにより会話状況パターンを定義し、このパターンを認識するシステムを構築する.
|
