2011 Fiscal Year Annual Research Report
インタラクションマイニングによる対話コンテキスト依存型ジェスチャ認識モデルの構築
| Project/Area Number |
22700146
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
岡田 将吾 東京工業大学, 大学院・総合理工学研究科, 助教 (00512261)
|
|---|
| Keywords | ジェスチャ認識 / マルチモーダル / パターン認識 / 機械学習 / 多人数インタラクション / データマイニング / 時系列解析 / 知能情報処理 |
|---|
| Research Abstract |
本研究の目的は、人間同士のコミュニケーション中に表出される非言語(ジェスチャ)パターンを抽出するデータマイング手法を構築し、これにより抽出したパターン群から、認識モデルを構築することである。会話データから得られる大量の非言語情報をマイニングする手法は、ジェスチャ分析者の人手による分析の効率・質を改善出来る。また得られたパターンおよび認識モデルは会話ロボット・エージェントのセンシング機能として重要である。本研究では実際の会話シーンを環境モーションセンサ・マイクなどのデバイスでマルチモーダル時系列データとして取得し、このデータに対してデータマイニングを行う事により、対話のコンテキストとダイナミクスに依存して起こる非言語パターンを特定し、このパターンを認識するためのマルチモーダルイベント列モデルを構築する。23年度は観測ノイズにロバストな動作認識システムと,時系列パターンの発見手法を用いて,三人会話における説明シーンから観測された手の動作(ジェスチャ),頭の動作(頷き),発話有無,といったマルチモーダルパターンを自動抽出し,インタラクションルールの抽出を行った.この結果,同じ内容を説明するタスクにおいて,協調的に説明を行うスタイル,一方が説明を主体的に行い,一方が説明を補助するスタイルなどが,ジェスチャパターンの変化から分類出来ることを示した.また,マルチモーダルパターンの遷移から,説明者の説明が言い淀みなどで突然途切れる場合,聞き手の頷きのタイミングも変化することが示された.この結果を利用して聞き手・話し手の非言語特徴を統合して学習モデルを訓練することにより,話し手の非言語情報だけを特徴量とした場合よりも言い淀みシーン話に割り込むシーンの認識精度が約30%改善された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
二年目までの目的としていた,非言語パターンの抽出のためのデータマイング機構と,非言語パターンのマイニング・会話状況を表すマルチモーダルパターンの認識器のプロトタイプを構築し,実際の会話データから非言語パターン・マルチモーダルパターンとして定義される会話コンテキストパターンの抽出を行った.二年目までの計画を概ね達成しているため、研究が順調に進んでいると考える.
|
| Strategy for Future Research Activity |
本年度は,データマイニング・パターン認識器を統合したシステムの総合評価・洗練化を行う.パターン認識モデルについて、現在簡易的なパターンマッチングによる手法を採用しているため,マルチモーダルパターンのダイナミクスを扱える時系列データの認識モデルを構築し,パターンマッチングの手法とを比較評価する.また当初,単語レベルで音声認識を行い単語パターンをジェスチャ認識モデルの入力に加える予定であったが,本研究で扱うアニメーション課題の説明会話では,単語内容より,話し手・聞き手の頭・手の動作・発話有無などの非言語パターンの種類とそのダイナミクスがパターン認識に重要である事を確認したため,非言語パターンのみにより会話状況パターンを定義し、このパターンを認識するシステムを構築する.
|
