1996 Fiscal Year Annual Research Report

人物頭部の3次元構造モデルに基づく顔面表情の定量的計測システムの開発

Research Project

Project/Area Number	06555111
Research Institution	SEIKEI UNIVERSITY
Principal Investigator	大倉元宏成蹊大学, 工学部, 助教授 (30119341)
Co-Investigator(Kenkyū-buntansha)	森島繁生成蹊大学, 工学部, 助教授 (10200411) 原島博東京大学, 工学部, 教授 (60011201) 千葉浩彦淑徳大学, 社会学部, 助教授 (40207296) 山田寛川村短期大学, 教養科目, 助教授 (80191328)
Keywords	コンピュータグラフィックス / 表情分析 / 3次元モデル / モーションキャプチャ / コンピュータビジョン / 感情空間 / ヒューマンコンピュータインタラクション / 感性情報処理
Research Abstract	まず、本研究では、顔面の動きを3次元的に計測するシステムを構築した。これは、被験者の顔面にマーカーを付与し、これを垂直に配置した2台のカメラで撮影して、各特徴点の動きを3次元座標の移動量として取得するものである。このシステムを利用して、心理学分野で提唱されているFacial Action Coding Systemのアクションユニットの定量化や、発話時の口形状の実測を実施した。また頭部を表現した3次元ワイヤフレームの変形と正面画像のテクスチャマッピングにより、計測した原画像の表情をそのままコンピュータグラフィックスとして再現することを可能にした。次のテーマとして、アクションユニットの組み合わせによって実現される6つの基本表情を作成し、この表情記述パラメータからニューラルネットの恒等写像学習によって3次元の感情空間を獲得した。これは、表情記述パラメータの組み合わせによって記述された感情状態を3次元の空間の1点として表現するもので、感情の認識と合成を同時に実現することができる。この感情空間の評価により、空間内では表情が連続的に記述され、心理学的にも妥当な空間が獲得されていることが明かとなった。次に手がけたテーマは、マ-カを添付せずに、表情認識する試みである。これは、目と唇領域に注目し、画像の空間周波数情報が表情変形と相関が高いことに着目して、縦方向と横方向の周波数帯域成分から6つの基本感情を推定するシステムを構築した。このシステムでは目と唇領域を自動的に追跡して、フレーム毎に感情状態の認識結果を実時間で出力することができるようになった。実験結果から人間の主観による認識に近い性能を実現することができた。

Research Products
(8 results)

All Other

All Publications (8 results)

[Publications] 森島繁生: "Modeling of Facial Expression and Emotion for Human Communication System" International Journal of Display. 17. 15-25 (1996)
[Publications] 坂口竜己、森島繁生: "Face Feature Extraction from Spatial Frequency for Dynamic Expression Recognition" Proceedings of ICPR (Pattern Recognition). 13. 451-455 (1996)
[Publications] 中村宏信、森島繁生、山田寛: "A psychological Study on Perception of Facial Expression Especially on the Perceived Strengths of Expressions" Proceedings of International Conference of Psychology. 484.80- (1996)
[Publications] 川上文雄、大倉元宏、山田寛他: "3-D Emotion Space for Interactive Communication" Proceedings of ICSC (Computer Science Conference). 471-481 (1995)
[Publications] 坂口竜己、森島繁生他: "Facial Expression Recognition from Image Sequences Using Hidden Markov Model" Proceedings of Asian Conference on Computer Vision. 2. 713-717 (1995)
[Publications] 川上文雄、大倉元宏、原島博他: "An Evaluation of 3D Emotion Space" Proceedings of IEEE Roman 95. 4. 1060-1067 (1995)
[Publications] 川上文雄、大倉元宏、山田寛、森島繁生他: "3-D Emotion Space for Interactive Communication" Image Analysis Application and Computer Graphics,Springer. 471-478 (1995)
[Publications] 共著: "知能情報メディア" 総研出版, 263 (1995)

1996 Fiscal Year Annual Research Report

人物頭部の3次元構造モデルに基づく顔面表情の定量的計測システムの開発

Principal Investigator

大倉 元宏 成蹊大学, 工学部, 助教授 (30119341)

Research Products

[Publications] 森島繁生: "Modeling of Facial Expression and Emotion for Human Communication System" International Journal of Display. 17. 15-25 (1996)

[Publications] 坂口竜己、森島繁生: "Face Feature Extraction from Spatial Frequency for Dynamic Expression Recognition" Proceedings of ICPR (Pattern Recognition). 13. 451-455 (1996)

[Publications] 中村宏信、森島繁生、山田寛: "A psychological Study on Perception of Facial Expression Especially on the Perceived Strengths of Expressions" Proceedings of International Conference of Psychology. 484.80- (1996)

[Publications] 川上文雄、大倉元宏、山田寛 他: "3-D Emotion Space for Interactive Communication" Proceedings of ICSC (Computer Science Conference). 471-481 (1995)

[Publications] 坂口竜己、森島繁生 他: "Facial Expression Recognition from Image Sequences Using Hidden Markov Model" Proceedings of Asian Conference on Computer Vision. 2. 713-717 (1995)

[Publications] 川上文雄、大倉元宏、原島博 他: "An Evaluation of 3D Emotion Space" Proceedings of IEEE Roman 95. 4. 1060-1067 (1995)

[Publications] 川上文雄、大倉元宏、山田寛、森島繁生 他: "3-D Emotion Space for Interactive Communication" Image Analysis Application and Computer Graphics,Springer. 471-478 (1995)

[Publications] 共著: "知能情報メディア" 総研出版, 263 (1995)

大倉元宏成蹊大学, 工学部, 助教授 (30119341)

[Publications] 川上文雄、大倉元宏、山田寛他: "3-D Emotion Space for Interactive Communication" Proceedings of ICSC (Computer Science Conference). 471-481 (1995)

[Publications] 坂口竜己、森島繁生他: "Facial Expression Recognition from Image Sequences Using Hidden Markov Model" Proceedings of Asian Conference on Computer Vision. 2. 713-717 (1995)

[Publications] 川上文雄、大倉元宏、原島博他: "An Evaluation of 3D Emotion Space" Proceedings of IEEE Roman 95. 4. 1060-1067 (1995)

[Publications] 川上文雄、大倉元宏、山田寛、森島繁生他: "3-D Emotion Space for Interactive Communication" Image Analysis Application and Computer Graphics,Springer. 471-478 (1995)