2020 Fiscal Year Research-status Report
３次元顔の高次印象の変換・生成による顔認知特性の解明と感性インタフェースへの応用
| Project/Area Number |
19K12188
|
|---|
| Research Institution | Hosei University |
|---|
Principal Investigator |
赤松 茂 法政大学, 理工学部, 教授 (50339503)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
作田 由衣子 実践女子大学, 生活科学部, 准教授 (30454078)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 感性インタフェース / 顔情報処理 / 3次元モデル / 顔認知 / 高次視覚印象 |
|---|
| Outline of Annual Research Achievements |
視覚刺激に対する人間の高次の認知判断が、視線の動きにどのように依存しているかを明らかにするため、視覚的な認知課題を行わせた時の視線の動きを視線追跡装置によって測定し、注視点位置の推移に関する時系列データを隠れマルコフモデル（HMM）で分析した。昨年度は視覚刺激として、顔の３次元像を幾つかの印象次元で定量的に操作した合成顔画像を用いてきたが、コロナ禍による実験環境の制約によりデータの拡張性に困難が生じたため、当該年度においては絵画、具体的には葛飾北斎の浮世絵「富嶽三十六景」の絵図を選定して印象評定時の視線動作を計測した。その視線停留点の時系列データから、絵画に対する被験者の印象評価の高低をどの程度正確に予測できるかについて、HMMによる分類実験を行った。その結果、視線動作のHMMによる判定率は、印象評価がポジティブな時には低く、ネガティブな時には高くなった。このことから、ポジティブな印象評価時は視覚刺激の幅広い領域中の個別的な領域をじっくりと探索する局所的な視線動作を行っているのに対して、ネガティブな印象評価時は広範囲を短時間で観察する大局的な視線動作を行っていることがわかった。
また、身体像から人が認知する高次印象を、その刺激の物理情報から推定する課題に関しても、ＳＤ法や一対比較法によって数値化した「好感度」等の主観的情報との相関を有する物理的特徴を絞り込み、人間による対象の高次印象を推定する実験を継続した。そして、距離情報も取得できるRGB-Dセンサを用いて取得される連続的な表情変化の時系列的フレーム画像にクラスタリング手法を適用することによって、特定表情に対応するキーフレームを抽出する手法の検討を開始した。さらに、印象変換ベクトル法によって３次元顔の個人差に応じて自然な発話表情を生成する方法や、表情表出に伴う３次元顔の魅力度の視点依存性について予備的な成果が得られた。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
2019年度第４四半期から当該年度に至るまで、新型コロナウイルスの感染拡大によって、研究協力者として戦力となってくれる院生、学生の多くが、実験室における実験活動を休止せざるを得ない状態となり、新規の表情動画像などの追加的な視覚刺激データの収集や、被験者による主観評定実験の遂行が大幅に滞ったこと、さらに、重要な成果発表とフィードバックの機会である多くの学会が、国外・国内を問わず、中止を余儀なくされたことは、研究の進捗に大きなマイナスとなったと感じている。
一方で、絵画（浮世絵）に対する印象評定と、観察時の視線動作との間に一定の関係を見出した研究については、当初の研究計画から発展的に展開した結果であるが、研究協力者として参画してくれた院生の意欲的な取り組みの結果、期待以上の進展が得られたと評価している。
|
| Strategy for Future Research Activity |
顔の動的な表情表出や身体運動の動画像解析に関しては，対象の連続的な動きを表現する時系列データから、中核となる表情や身体ポーズ毎の分割（セグメンテーション），及び，分割された区間の同定（スポッティング)の実現が重要であり、RGB-Dセンサーやモーションキャプチャを入力機器として用いた実験的な検討を進めていきたい。
また、三次元顔表象から人によって認知される高次印象を自動的に推定できるアルゴリズムの開発を目標とする研究において、「高次印象」の具体的な対象として、表情、年齢、性別などだけではなく、社会的印象の代表例として「好感度」などもとりあげ、その強度を自動推定するシステムを構築し、多数の被験者の主観判断との整合性を定量的に評価することを目指したい。
|
| Causes of Carryover |
本研究課題の成果発表の場として位置づけ、研究協力者である学生とともにほぼ毎年定期的に参加していた国内学会（HCGシンポジウム、電子情報通信学会総合大会、DIA2021等）、ならびに国際会議（ECVP2020、IWAIT2021）がコロナ禍により中止もしくはオンライン開催となったため開催地への旅費が未使用となった。これらは、最終年度における同系統の学会において成果発表を行うための旅費等にあてることにしたい。
|
