• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Investigation on generation and perception of higher-order impressions of 3D faces and its application to perceptual human interface systems

Research Project

Project/Area Number 19K12188
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61060:Kansei informatics-related
Research InstitutionHosei University

Principal Investigator

Akamatsu Shigeru  法政大学, 理工学部, 教授 (50339503)

Co-Investigator(Kenkyū-buntansha) 作田 由衣子  実践女子大学, 生活科学部, 准教授 (30454078)
Project Period (FY) 2019-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2020: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2019: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywords画像認識・生成 / ヒューマンインタフェース / 感性情報処理 / 顔の認知 / 高次印象 / 眼球運動 / 感性インタフェース / 顔情報処理 / 3次元モデル / 顔認知 / 高次視覚印象
Outline of Research at the Start

本研究ではまず、3次元顔表象の高次印象を変換させる印象変換ベクトル法について、印象変換する顔貌の個人差による多様性にかかわらず、安定かつ効果的な印象変換を行える方法について検討し、その効果を主観評定実験によって定量的に明らかにする。また、3次元顔表象に対する印象判断時の観察者の視線の動きをモデル化することによって、視覚刺激から認知される高次視覚と視線の動きという観察行動との関係を明らかにする。さらに、3次元顔表象から人が認知する社会的印象の例として「好感度」をとりあげ、3次元顔表象からその強度を自動推定するアルゴリズムを検討する。

Outline of Final Research Achievements

Among factors that bring diversity to facial appearance, not only static variations in individual facial shape in 3D but also dynamic traits of the face caused by its change of posture and variation in direction of the gaze for its observation, creating facial expressions, effects of aging, wearing make-up and so on, were investigated in terms of their effects given to the higher-order impression perceived in the face. Insights on image engineering technologies for perceptual interface system, such as transformation of social impressions conveyed by the face of the anthropomorphic agent and estimation of the age from faces, were also investigated in this research project.

Academic Significance and Societal Importance of the Research Achievements

本研究の成果から、人間のコミュニケーションで重要な役割を果たしている顔という媒体について、好感度を高めるなど、その印象を自在に操作することによって、感性情報を効果的に発信できる擬人化エージェントを実現する指針が得られるとともに、任意の顔画像に対して多くの人の印象判断をなぞるような分類・検索機能を人工的に実現することも可能となり、人間・コンピュータ間の感性インタフェース技術の高度化への寄与が期待される。 併せて、人が3次元顔表象から視覚を通じて様々な高次印象を想起する過程など、顔認知の脳内メカニズムについて、その特性を理解することに貢献することも期待される。

Report

(4 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (30 results)

All 2022 2021 2020 2019

All Journal Article (12 results) (of which Peer Reviewed: 6 results) Presentation (18 results) (of which Int'l Joint Research: 3 results)

  • [Journal Article] Human Performance of Face Recognition Inferred from Characteristics of Observing Eye Movement Patterns Learned by Hidden Markov Model2020

    • Author(s)
      Shun Oue, Ryoko Yamada, Shigeru Akamatsu
    • Journal Title

      Proc. of International Workshop on Advanced Image Technology 2020 (IWAIT 2020)

      Volume: ー

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] 連続的な表情表出に伴う顔特徴点における三次元時系列データの表情スポッティング2020

    • Author(s)
      安田謙太郎, 赤松茂
    • Journal Title

      動的画像処理実利用化ワークショップ2020論文集

      Volume: ー

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] 手話における顔情報を用いた文法的判別の検討2020

    • Author(s)
      岡田治樹, 新井駿太, 赤松茂
    • Journal Title

      動的画像処理実利用化ワークショップ2020論文集

      Volume: ー

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] 「印象」はどこから来るか:物理的属性と性格印象の関連性の検討2020

    • Author(s)
      作田由衣子
    • Journal Title

      実践女子大学生活科学部紀要

      Volume: 57 Pages: 47-53

    • NAID

      120006824447

    • Related Report
      2019 Research-status Report
  • [Journal Article] Temporal Segmentation of a Sequence of Facial Expressions into Utterance Units Based on Its 3D Deformation2019

    • Author(s)
      Kentaro Yasuda, Shigeru Akamatsu
    • Journal Title

      Proc. of 6th IIEEJ International Conference on Image Electronics and Visual Computing (IEVC2019)

      Volume: ー

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] Generation of 3D Face Image by Impression Transformation Vector Method - Viewpoint Dependency of Gender Difference Impression-2019

    • Author(s)
      Yuki Ozawa, Isseki Miwa, Shigeru Akamatsu
    • Journal Title

      Proc. of 6th IIEEJ International Conference on Image Electronics and Visual Computing (IEVC2019)

      Volume: ー

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] Recognition of Finger Numeric Characters Through Depth Images Taken by Kinect V2 Sensor - Comparison of Classification Performances by CLAFIC Method and CNN -2019

    • Author(s)
      Haruki Okada, Shigeru Akamatsu
    • Journal Title

      Proc. of 6th IIEEJ International Conference on Image Electronics and Visual Computing (IEVC2019)

      Volume: ー

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] 連続的な表情表出にともなう顔面の疎な特徴点の3次元時系列データからの表情セグメンテーション2019

    • Author(s)
      安田謙太郎, 家光真二郎, 赤松茂
    • Journal Title

      電子情報通信学会HCGシンポジウム2019論文集

      Volume: ー

    • Related Report
      2019 Research-status Report
  • [Journal Article] 隠れマルコフモデルに基づくモデル化から絵画の印象評価と視線動作パターンの関係を探る2019

    • Author(s)
      大上俊, 作田由衣子, 赤松茂
    • Journal Title

      電子情報通信学会HCGシンポジウム2019論文集

      Volume: ー

    • Related Report
      2019 Research-status Report
  • [Journal Article] 3次元顔画像に対する男らしさ、女らしさの印象変換の性質2019

    • Author(s)
      小澤優希, 武山奈未, 三輪一石, 赤松茂
    • Journal Title

      電子情報通信学会HCGシンポジウム2019論文集

      Volume: ー

    • Related Report
      2019 Research-status Report
  • [Journal Article] 主成分分析に基づく三次元感情表情顔生成における性差の影響2019

    • Author(s)
      村田彩美, 三輪一石, 赤松茂
    • Journal Title

      電子情報通信学会HCGシンポジウム2019論文集

      Volume: ー

    • Related Report
      2019 Research-status Report
  • [Journal Article] 主観的印象に基づく顔画像のカテゴリー分類2019

    • Author(s)
      澤田桜奈, 大上俊, 赤松茂
    • Journal Title

      電子情報通信学会HCGシンポジウム2019論文集

      Volume: ー

    • Related Report
      2019 Research-status Report
  • [Presentation] 顔魅力評定時の視線動作のパターン推定2022

    • Author(s)
      浅井和之, 赤松茂
    • Organizer
      画像電子学会第299回研究会 in 松山
    • Related Report
      2021 Annual Research Report
  • [Presentation] ラジオ体操動画像の動作識別における骨格情報と距離情報の組み合わせ特徴の検討2022

    • Author(s)
      山﨑涼平, 赤松茂
    • Organizer
      画像電子学会第299回研究会 in 松山
    • Related Report
      2021 Annual Research Report
  • [Presentation] Viewpoint Dependency of Attractiveness of Smiling Faces Generated by Impression Transformation of Morphable 3d Face Models2021

    • Author(s)
      Shu Maseda and Shigeru Akamatsu
    • Organizer
      The 7th IIEEJ International Conference on Image Electronics and Visual Computing
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Automatic Extraction of Speech Segments from Motion Pictures by Time-Series Clustering of Visual Feature Points2021

    • Author(s)
      Rikuto Shinohara and Shigeru Akamatsu
    • Organizer
      The 7th IIEEJ International Conference on Image Electronics and Visual Computing
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 絵画印象評価時における視線推移パターンの隠れマルコフモデルによる分析2021

    • Author(s)
      大上俊、作田由衣子、平原誠、赤松茂
    • Organizer
      画像電子学会第295回研究会(オンライン開催)
    • Related Report
      2020 Research-status Report
  • [Presentation] 類似顔選定による個人差に応じた3次元顔画像の発話表情生成2021

    • Author(s)
      小澤優希、赤松茂
    • Organizer
      電子情報通信学会2021年総合大会・学生ポスターセッション(オンライン開催)
    • Related Report
      2020 Research-status Report
  • [Presentation] 動画像における顔特徴点を用いた特定表情の抽出2021

    • Author(s)
      篠原陸人、赤松茂
    • Organizer
      電子情報通信学会2021年総合大会・学生ポスターセッション(オンライン開催)
    • Related Report
      2020 Research-status Report
  • [Presentation] 3次元顔モデルの印象変換による笑顔表情の魅力度の視点依存性2021

    • Author(s)
      間世田秀、赤松茂
    • Organizer
      電子情報通信学会2021年総合大会・学生ポスターセッション(オンライン開催)
    • Related Report
      2020 Research-status Report
  • [Presentation] ヒーローは右上を向くか?:顔の向きが印象に及ぼす影響の文化差2021

    • Author(s)
      作田由衣子
    • Organizer
      日本認知心理学会第18回大会
    • Related Report
      2020 Research-status Report
  • [Presentation] 隠れマルコフモデルを用いた絵画印象評価における視線動作のモデリング2020

    • Author(s)
      大上俊、作田由衣子、赤松茂
    • Organizer
      電子情報通信学会HIP研究会(オンライン開催)
    • Related Report
      2020 Research-status Report
  • [Presentation] スマートフォンで撮影された発話動画識別の検討2020

    • Author(s)
      雫優太, 赤松茂
    • Organizer
      電子情報通信学会2020年総合大会
    • Related Report
      2019 Research-status Report
  • [Presentation] Kinectで取得した骨格情報と距離情報による腕指し方向推定2020

    • Author(s)
      稲葉三千貴, 赤松茂
    • Organizer
      電子情報通信学会2020年総合大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 表情表出に伴う顔面の疎な特徴点の3次元時系列データのセグメンテーション及び表情スポッティング2020

    • Author(s)
      安田謙太郎, 赤松茂
    • Organizer
      電子情報通信学会2020年総合大会
    • Related Report
      2019 Research-status Report
  • [Presentation] Investigating association between viewers’ eye movements and face recognition performance with hidden Markov model2019

    • Author(s)
      Shun Ohue, Ryoko Yamada, Shigeru Akamatsu
    • Organizer
      42nd European Conference on Visual Perception 2019 (ECVP2019)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] 顔面の疎な点における三次元位置情報を用いた表情セグメンテーション2019

    • Author(s)
      安田謙太郎, 家光真二郎, 赤松茂
    • Organizer
      第24回日本顔学会大会(フォーラム顔学2019)
    • Related Report
      2019 Research-status Report
  • [Presentation] 印象変換ベクトル法による3次元顔画像の生成 ‐性差印象の視点依存性‐2019

    • Author(s)
      小澤優希,三輪一石,赤松茂
    • Organizer
      第24回日本顔学会大会(フォーラム顔学2019)
    • Related Report
      2019 Research-status Report
  • [Presentation] 3次元顔画像の感情表情生成 ‐表情表出の顔形状変化における性差の影響‐2019

    • Author(s)
      村田彩美,三輪一石,赤松茂
    • Organizer
      第24回日本顔学会大会(フォーラム顔学2019)
    • Related Report
      2019 Research-status Report
  • [Presentation] 顔からの印象判断の文化差:発達的観点からの検討2019

    • Author(s)
      作田由衣子
    • Organizer
      日本認知心理学会第17回大会
    • Related Report
      2019 Research-status Report

URL: 

Published: 2019-04-18   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi