|
本研究の目的は、人間同士のコミュニケーション中に表出される非言語(ジェスチャ)パターンを抽出するデータマイング手法を構築し、これにより抽出したパターン群から、認識モデルを構築することである。24年度・本年度に構築した半教師付学習・多次元時系列パターン発見アルゴリズムに基づくデータマイニング手法を利用することで，相手に向けた説明のために用いられたジェスチャとそれ以外のジェスチャ(自己接触や自己指向性ジェスチャなど)の識別に有用な特徴量の抽出を行った．この結果，説明者の手の動きについてはジェスチャユニットのホールド・ストロークの回数やそれらのジェスチャ区間における時間占有率が有用であり，説明に利用されたジェスチャは聞き手の視線を得られている時に表出されることが示された．この結果を利用してジェスチャの識別モデルを構築した．具体的にはジェスチャを行う人以外の人間の非言語情報(顔向け，うなづき，発話状態)との共起関係をトピックモデルにより抽出し，ジェスチャ区間の検出をHMMと変化点検知手法を組み合わせたモデルにより行い，特徴量を統合することで，話し手のジェスチャが説明に用いられているか，それ以外のジェスチャかを75％の精度で識別できることを示した．当初の計画通り，ジェスチャを行っている人以外の参加者の非言語情報を利用することで説明状況下でのジェスチャ役割の識別率を向上できることを示した．会話中の非言語の役割の認識技術は会話エージェント・ロボットに有用である．また会話中に表出される非言語情報を自動認識する技術は，大規模会話分析・モデリング・知識獲得に欠かせない技術であり，コミュニケーション行為分析・コミュニケーション行為の定量化・モデル化の基盤技術となることが期待される．
|
