解剖学的知識により人間の意識変化に追随できる表情・動作解析システムの構築

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14580417
• Research Institution: Shizuoka University
• Principal Investigator: 佐治 斉 静岡大学, 情報学部, 助教授 (10283334)
• Keywords: 動作解析 / 3次元形状変化 / 解剖学的知識 / 意識変化 / 表情変化

Research Abstract

人間の顔および全身から表出される表情・動作の時間的変化・空間的変化には、意識的なものと無意識的なものとが存在する。人間の表情・動作の意識的変化を識別することによって、個人個人のもつ個性・感性をシステムが把握できる機能を実現し、人とコンピュータがフェースツーフェースでインタラクションが行える自然なヒューマンインタフェースを実現することが可能となる。本研究では、意識的変化を識別することにより人間の意志・感情を理解するシステムの構築を目指し、研究を進めた。以下のことを行った。
(1)顔形状の正確な計測
意識変化に追随した表情・動作の解析を行うためには、人間の動作による形状・姿勢変化を高精度に計測する必要がある。そのため、本研究では人間の表情と動作を3次元空間上で正確に計測する手法を検討し、システムを試作した。例として、まず表情変化による顔面の3次元形状の時間変化を計測するシステムを検討し試作した。
(2)手の動作の正確な追跡
表情変化と同様に、人間の動作による形状・姿勢変化を高精度に計測するため、手の3次元空間内での動作追跡を行う手法を検討し、システムを試作した。
(3)実験および検証
複数の被験者を対象に、身振りや表情変化を行わせて撮影された動画像を用いて、形状計測実験およびその評価を行った。また被験者が、表情や身振りを意識的に表出した場合と無意識的に表出した場合の違いを検討した。
(4)応用システムの設計・製作
意識的・無意識的な表情・動作変化による3次元形状変化から、人間の意識を識別する特徴空間について検討した。形状計測結果から筋肉の収縮量を想定し、その時間変化から、解剖学者の実験結果により利用者の意識を解析する手法を検討した。これにより、利用者の意志・感情などの感性情報を抽出することが行え、マルチモーダルインタラクションが可能な環境が構築可能となる。さらに、構築した表情・動作計測システムを利用し、人間の心理的な動きに協調できるシステムの構築など、実際の環境で活用できるようにするための具体的な要求仕様について考察した。

Research Products

• [Publications] 白木将幸, 伊藤敏彦, 甲斐充彦, 中谷広正: "自然発話文における統計的な意図理解手法の検討"情報処理学会音声言語情報処理研究会研究報告. 2004-SLP-50. 69-74 (2004)
• [Publications] Hitoshi Saji, Hiromasa Nakatani: "Fusion of Color Photometric Stereo Method and Slit Pattern Projection Method to Measure Three-Dimensional Shapes of a Human Face"Proc.of DICTA2003. 731-740 (2003)
• [Publications] Hitoshi Saji, Hiromasa Nakatani: "Measuring Three-Dimensional Shapes of a Human Face Using Photometric Stereo Method with Color Light Sources and Slit Patterns"Optical Engineering. Vol.42 Issue.9. 2727-2733 (2003)