| Project/Area Number |
19K12744
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 90030:Cognitive science-related
|
|---|
| Research Institution | Doshisha University (2020-2023)
National Institute of Advanced Industrial Science and Technology (2019) |
|---|
Principal Investigator |
藤村 友美 同志社大学, 心理学部, 准教授 (90623992)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
森 数馬 国立研究開発法人量子科学技術研究開発機構, 量子医科学研究所 脳機能イメージング研究部, 研究員 (70754696)
|
|---|
| Project Period (FY) |
2019-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2021: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2020: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2019: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 表情模倣 / 表情筋電図 / 顔画像解析 / 時系列情報 / 画像解析 / 機械学習 |
|---|
| Outline of Research at the Start |
本研究では、顔画像解析と表情筋電図法によって表情を定量化し、時系列情報を考慮した解析手法によって表情模倣の時間的特性を明らかにすることを目的とする。さらに、非接触で高精度の表情計測を実現するために、表情筋活動を顔座標から予測できる機械学習器を作成する。時間的特性を考慮した解析法を適用し、真の「模倣」反応を明らかにするとともに、実際の対面コミュニケーションにおける表情計測の精度の向上に寄与する基盤技術を創出する。
|
| Outline of Annual Research Achievements |
表情模倣は他者の表情と一致した顔面反応が生じる現象として知られている。従来の表情筋電図を用いた定性的な解析方法では、顔面反応が真の「模倣」なのかどうか―すなわち，他者の表情の物理的変化に依存した表情表出であるかが明らかではなかった。本研究では，顔画像解析と表情筋電図法によって表情を定量化し，時系列情報を考慮した解析手法によって表情模倣の時間的特性を明らかにすることを目的としている。
本年度行った主な実績としては大きく3点ある。1点目は，複数の海外の顔表情データベースを入手し，表情の動的変化における特徴点のネットワーク情報が，感情推定に寄与する程度を検討したことである。これらのデータから，感情推定の精度を担保し，成果を海外誌に投稿することができた。2点目は，昨年度実施した，オンラインにおける表情模倣の予備実験のデータ解析を行ったことである。予備実験では，初対面の2者間で会話を行い，顔画像およびコミュニケーション前後の感情状態の変化を測定した。顔画像に関しては，オンラインであっても笑顔の同期が見られることが確認された。3点目は，実験室実験でディスプレイに呈示された表情に対する表情模倣の実験準備を進めたことにある。電磁シールドされた実験室を整備し，ノイズの少ない筋電図データを測定できる環境を整えることができた。この実験室で，意図的模倣と自発的模倣の筋電図反応データを取得し，刺激画像との関連を検討する予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
実験室の改修工事が入ったため，当初の予定であった筋電図計測の実験実施が叶わず進捗はやや遅れている。一方で，オンライン・コミュニケーションにおける表情模倣のデータ解析を進めた。
|
| Strategy for Future Research Activity |
当初予定していた対面実験を進めていく。表情筋電図データと画像解析データを取得し，表出者（刺激モデル）との顔特徴点の変化と観察者の表情筋反応の変化から，形態的特徴に基づいた模倣反応を明らかにしていく。さらには，表出者の表情筋電図データと画像解析情報から表情筋活動の推定モデルと作成する。
|
