2011 Fiscal Year Research-status Report
| Project/Area Number |
23650060
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
北崎 充晃 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (90292739)
|
|---|
| Project Period (FY) |
2011-04-28 – 2014-03-31
|
| Keywords | 情動 / コミュニケーション / 身体性 |
|---|
| Research Abstract |
人のコミュニケーションでは，意味的な情報と同時に情動・感情が伝えられる。本研究では，身体に表出される情動情報を，できるだけ直接的に他者に伝え情動を喚起させるシステム，二人が双方向に相手の情動を体験するシステムや複数人の統合情動を体験するシステムを開発する。そして，情動情報の提示を身体的に物理量として操作し，感じられる情動を心理物理学的手法によって計測し，客観的評価を行うことを目的とする。 (1) 身体性情動センシング（計測）システムの開発：マイクロソフト社のKinectおよび通常のwebカメラを用いて，ヒトの表情を取得し，顔抽出，目抽出，口抽出をリアルタイムで自動的に行うシステムを開発した。Kinectとwebカメラの性能を比較し，表情の取得と生成のためにはwebカメラの方が性能が高いためにwebカメラを使用することとした。(2) 身体性情動アクション（提示）システムの開発：自分の表情に後に示す変形を施し，フィードバックするシステムを開発した。遅れは100ms程度であり，ほぼリアルタイムである。表示はCRTモニタあるいは液晶モニタである。また，携帯電等に使われる振動モータを介して，触覚刺激を与えるシステムを構築した。(3) 情動変換処理と身体性情報通信システムの開発：(1)で構築したシステムで取得した目と口に画像変換をくわえ，(2)のシステムでリアルタイムに表情変換を行って提示するシステムを開発した。怒り，喜び，および悲しみの3表情については，予備的実験により表情が適切に変換されていることを確認した。 また，上記システムについては研究協力者松嵜直幸（ウェイン州立大学医学部・研究員）に適宜情報提供と性能評価を依頼し，進めている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初第一年度に予定していた(1) 身体性情動センシング（計測）システムの開発，および(2) 身体性情動アクション（提示）システムの開発については，視覚情報と一部の触覚情報について実装を実現した。また，第二年度に予定していた(3) 情動変換処理と身体性情報通信システムの開発についても，視覚的な表情については予定よりも早く実装することができた。また，表情操作が適切に機能しているかを予備的な実験によって確認することもできた。したがって，総合的判断して，おおむね順調に進展している。
|
| Strategy for Future Research Activity |
第二年度は，(3)の表情変換についてより精度を高める改良を行い，(4) 一方向性情動認知の心理物理実験を行う。ここでは，(3)で構築したシステムを用いて，他者の情動がどれくらい他のユーザに伝達されるかを心理物理学的手法で検討する。また，(3)のシステムに，触覚および聴覚の情動を追加して，システムをマルチモーダルに発展させる。 第三年度は，(5) 双方向性情動認知の心理物理実験として，(4)のシステムを双方向性に拡充し，2人のユーザの情動認知がどのように相互作用するかを情動情報の定量的操作によって検討する。 また，国内外の学術会議にて研究成果の一部を発表することも計画している。
|
| Expenditure Plans for the Next FY Research Funding |
秋に発注したソニー製の頭部搭載型ディスプレイが年度末においても納品されなかった。第二年度には納品される予定であり，これによって目の前の人の表情をリアルタイムに操作して感じるシステムを実現できる。まずは，すでに情動変換に成功した表情を中心にシステムを早期に構築・改良し，多数の被験者を用いた心理物理実験を実施する計画である。
|
-
[Presentation] Emotional incongruence of facial expression and voice tone investigated with event-related brain potentials of infants2011
Author(s)
Arai, K., Inoue, Y., Kato, M., Itakura, S., Nakauchi, S., and Kitazaki, M.
Organizer
IMRF (International Multisensory Research Forum)
Place of Presentation
福岡
Year and Date
2011年10月10日
