映像コンテンツ製作におけるマルチモーダル感情表出モデルの構築に関する研究

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14208031
• Research Institution: Waseda University
• Principal Investigator: 白井 克彦 早稲田大学, 理工学部, 教授 (10063702)
• Co-Investigator(Kenkyū-buntansha): 山崎 芳男 早稲田大学, 大学院・国際情報通信研究科, 教授 (10257199) ; 米山 正秀 東洋大学, 工学部, 教授 (60277358) ; 小林 哲則 早稲田大学, 理工学部, 教授 (30162001) ; 村上 真 東洋大学, 工学部, 専任講師 (80329119) ; 大平 茂輝 名古屋大学, 情報メディア教育センター, 助手 (60339695)
• Keywords: 感情表出モデル / 映像制作 / ディジタルアクタ / 動作制御 / 韻律情報

Research Abstract

平成14年度の研究成果より,人物の歩行動作はいくつかのレベルの独立な運動として構成されており,いくつかのキー関節から生成可能であることが確認された.ディジタルアクタ制御システムを構築するためには,動作を生成するだけではなく制御する必要がある.その際,少ない関節を少ない要因により変動させることで,多様な動作を制御することが要求される.そこで,モーションキャプチャ装置により収録した人物歩行動作のキー関節に対し,大きさ,速さ,姿勢の3つの物理的な変動要因を与えることで多様な動作を制御するモデルの構築を行った.具体的には,各関節の1周期分のデータをフーリエ変換により第3高調波までのスペクトル情報に集約し,それらに各変動要因を加えることで制御を行っている.また,大きさ,速さ,姿勢といった変動要因が適切であるとはかぎらないため,多様な歩行動作データを第3主成分までの部分空間上で表現し,各主成分ベクトルを変動要因としたモデルの構築も行った.これらの成果を元にディジタルアクタ動作制御システムを実装し,被験者に動作データを作成してもらうことにより評価実験を行った.その結果,少ない変動要因により多様な歩行動作を表現可能であることが確認された.今後はディジタルアクタ動作制御システムを用いてデータを収録し,感情表出モデルを構築する予定である.
また、画像や音声と両者から人間が知覚する感情の対応関係を明らかにすることで,ディジタルアクタによる容易な感情表現が可能になると考え,人聞の感情判断における顔画像と発話音声の貢献度や相互作用を分析した.具体的には、あらかじめ収録した3段階の感情レベル映像を,同一感情において音声と画像の音声レベルを組み替えて被験者に提示し,その感情判断を調査・分析した.その結果.一部の例外を除いて,画像より音声の感情レベルが感情判断に大きく寄与していることが確認された.

Research Products

• [Publications] 大隈 健史, 長船 大穀, 森野 岳宏, 村上 真, 白井 克彦: "人物動作における感情表出モデル構築に向けたディジタルアクタ学習システムの設計"第9回画像センシングシンポジウム講演論文集. 421-426 (2003)
• [Publications] 森野 岳宏, 大隈 健史, 長船 大穀, 村上 真, 白井 克彦: "基本動作制御モデルのための歩行動作の分析・生成"人工知能学会全国大会(第17回)講演論文集. 2C3-03(CD-ROM). (2003)
• [Publications] 長船 大穀, 森野 岳宏, 大隈 健史, 村上 真, 白井 克彦: "モーションキャプチャデータを用いた歩行動作の分析と制御"人工知能学会全国大会(第17回)講演論文集. 2C3-04(CD-ROM). (2003)