2011 Fiscal Year Annual Research Report
微妙な表情によるコミュニケーション分析と表情認識システムの構築
Publicly Offered Research
| Project Area | Clarification of the mechanism of face recognition by interdisciplinary research |
|---|
| Project/Area Number |
23119723
|
|---|
| Research Institution | Tokyo Denki University |
|---|
Principal Investigator |
武川 直樹 東京電機大学, 情報環境学部, 教授 (20366397)
|
|---|
| Keywords | 顔表情 / 微妙な表情 / 表情モデル / 表情認識 / 対話システム |
|---|
| Research Abstract |
会話中の視線,顔向き,微妙な表情・仕草に着目して,会話中の相互に表出される仕草と発話交替,発話意図の時間発展を定量的に分析して,会話中の表情モデルを構築することを目的とし,23年度は以下の実績を挙げた.
まず,コミュニケーション時の顔表情のデータ収集のため,3名3組の女性による実空間会話と映像会話によるグループコミュニケーションシーンの収録を行った.収録には,われわれが開発した視線一致映像会話システムを用いた.トータル270分の映像を収録し,表情用のコーパスを作成できたことは大きな成果と考える.
次に,収録した会話映像を対象に表情ラベル付与を行った.対象とする表情は,発話交替に先立って表出される人の話したい気持ち,態度であり,具体的には,「話したい/話したくない」,「興味がある/ない」,「困惑している」,「思案している」である.これまでの表情研究では,喜怒哀楽などの表情を俳優などに指示して演技させたものを収集していたのに対して,ここで得たデータはコミュニケーションの場において収集した貴重なものと考える.
さらに,表情の認識を行うことを目標とし,「話したい/話したくない」表情ラベルを付与した画像から特徴点を抽出し,主成分分析によるデータ圧縮,判別分析による識別を行った.その結果86%の認識率が得られた.口と目の大きさと上唇,口の左右端の位置が「話したい/話したくない表情」を識別する上で重要であることがわかった.また,困惑表情と思案表情を顔の特徴点ベクトルを用いて,SVM(Support Vector Machine)の学習と認識を行った.現時点で83%の認識率を得ている.困惑表情と思案表情が平均顔からどの程度異なるかを分析した結果,困惑と思案の識別は眉・口・顔の傾きで実現できる可能性があることを示した.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
実際のコミュニケーション時の表情を収集するための映像を収録し,認識用の表情データのラベル付けまで実行できた.さらに表情の認識システムの構築を進め,認識実験を行った結果,比較的高い認識率を得ている.今後は,辞書データの数を増やることにより信頼できる実験結果を得,成果を広く発表していくことが課題である.
|
| Strategy for Future Research Activity |
会話中の表情の仕草(眉,口,顔向きなどの動き)について書き起しを加速する必要がある.特に,微妙な顔の表情(口の半開き,口をゆがめる,眉上げ,目の見開きなど),視線,顔の向き,発話を時系列に沿って書き起こしをするため,支援のアルバイト要員を雇用する.書き起しデータから人の表情動作を統計分析し,仕草と発話の関係モデルを構築する.認識アルゴリズムは23年度に構築したものを用いるが,仕草・発話認識辞書はデータ量を増やし,評価を行う必要がある.その結果に応じて「微妙な表情」認識アルゴリズムの改善を行う。最後に,構築した認識アルゴリズムを擬人化エージェントに実装し,エージェントによる会話行動評価を行う.
|
Research Products
(2 results)
