• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

A Study on Automatic Estimation of Impression Attributes based on Human Visual Function

Research Project

Project/Area Number 20K11864
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionTottori University

Principal Investigator

NISHIYAMA Masashi  鳥取大学, 工学研究科, 教授 (20756449)

Project Period (FY) 2020-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Keywords人物印象属性 / 自動推定 / 視覚特性 / 人物 / 印象 / 計測 / 学習モデル / 人物印象 / 画像認識
Outline of Research at the Start

人物の印象を精度よく推定することを目指し,人間が情報システムへ教師ラベルを与える作業を繰り返すことで,人間の視覚特性を深層学習モデルに取り入れる方法を開発する.観察者が人物画像の印象を判断する際に,身体のどの位置にある部位をどの順序で見たかを表す視覚特性が,その印象を決める上で重要な手掛かりとなる.印象に対する人間の視覚特性を計測し,その視覚特性に基づき深層学習モデルを設計する.

Outline of Final Research Achievements

We investigated the gaze time-series signals, which indicate where and when the observer pays attention to a region of an image when perceiving the subject as beautiful, elegant, or clean. We developed a method to show that the gaze location approaches the subject’s nose initially, and then the gaze location varies according to the impression words. Furthermore, we developed a new attention mechanism by introducing the gaze time-series signals into a deep-learning model and making it closer to human perception. We confirmed that the model improved the estimation accuracy.

Academic Significance and Societal Importance of the Research Achievements

システムが自動で人間の印象を推定できるようになると,その印象を手掛かりとしたコーディネートサービスを新たに創造できると考える.冠婚葬祭など非日常の特別な場で印象は重要となる.例えば,知人の結婚式へ出席するため,相応しい格好が与える印象を考えている.開発した推定方法を導入したシステムを構築できれば,これまでにないユーザ体験の提供が期待できる.その状況に適した格好を利用者は安心して選ぶことができ,自分では気付いていない格好を知る機会を得ることができる.

Report

(4 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (13 results)

All 2022 2021 2020

All Journal Article (3 results) (of which Peer Reviewed: 3 results) Presentation (10 results) (of which Int'l Joint Research: 3 results)

  • [Journal Article] Gender Recognition Using a Gaze-Guided Self-Attention Mechanism Robust Against Background Bias in Training Samples2022

    • Author(s)
      NISHIYAMA Masashi, INOUE Michiko, IWAI Yoshio
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E105.D Issue: 2 Pages: 415-426

    • DOI

      10.1587/transinf.2021EDP7117

    • NAID

      130008149970

    • ISSN
      0916-8532, 1745-1361
    • Year and Date
      2022-02-01
    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Journal Article] Analysis of Temporal Changes of Gaze Locations Measured When Observers Determine Impressions for Subjects in Images2021

    • Author(s)
      河口 野乃加, 木下 顕, 加藤 直人, 井上 路子, 西山 正志, 岩井 儀雄
    • Journal Title

      Journal of the Japan Society for Precision Engineering

      Volume: 87 Issue: 12 Pages: 965-974

    • DOI

      10.2493/jjspe.87.965

    • NAID

      130008124987

    • ISSN
      0912-0289, 1882-675X
    • Year and Date
      2021-12-05
    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Journal Article] 身体への印象単語を判別する際に計測された視線位置分布の確率表現2020

    • Author(s)
      木下 顕, 井上 路子, 西山 正志, 岩井 儀雄
    • Journal Title

      精密工学会誌

      Volume: 86 Issue: 12 Pages: 989-996

    • DOI

      10.2493/jjspe.86.989

    • NAID

      130007950488

    • Related Report
      2020 Research-status Report
    • Peer Reviewed
  • [Presentation] Subjective Scores and Gaze Distribution in Personality Evaluations: Effect of Subjects' Clothing on Observers' Impressions of Them2022

    • Author(s)
      Michiko Inoue, Masashi Nishiyama, Yoshio Iwai
    • Organizer
      Proceedings of 24th International Conference on Human-Computer Interaction (HCII), vol. DHM, pp. 220 - 230
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Investigation of temporal changes of gaze locations during characteristic evaluation when viewing whole-body photos2022

    • Author(s)
      Fuyuko Iwasaki, Masashi Nishiyama, Yoshio Iwai
    • Organizer
      Proceedings of 24th International Conference on Human-Computer Interaction (HCII), vol. EPCE, pp. 18 - 32
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 動画中の被写体を観察する際に計測された視線分布を三次元人体モデルで可視化する手法の検討2022

    • Author(s)
      岩崎 芙由子, 西山 正志, 岩井 儀雄
    • Organizer
      画像の認識・理解シンポジウム(MIRU), IS1-97
    • Related Report
      2022 Annual Research Report
  • [Presentation] Body-part Attention Probability for Measuring Gaze During Impression Word Evaluation2021

    • Author(s)
      Ken Kinoshita, Michiko Inoue, Masashi Nishiyama, Yoshio Iwai
    • Organizer
      Proceedings of 23rd International Conference on Human-Computer Interaction
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] 観察者の視線が集まる身体部位の三次元可視化の提案2021

    • Author(s)
      木下 顕, 西山 正志, 岩井 儀雄
    • Organizer
      HCGシンポジウム
    • Related Report
      2021 Research-status Report
  • [Presentation] 全身画像や頭隠れ画像から受ける衣服印象に関する視線の時系列変化の調査2021

    • Author(s)
      岩崎 芙由子, 西山 正志, 岩井 儀雄
    • Organizer
      HCGシンポジウム
    • Related Report
      2021 Research-status Report
  • [Presentation] 被写体の服装カテゴリが及ぼす性格印象の主観スコア及び視線分布の調査2021

    • Author(s)
      井上 路子, 西山 正志, 岩井 儀雄
    • Organizer
      ヒューマンインタフェースシンポジウム
    • Related Report
      2021 Research-status Report
  • [Presentation] 被写体の性格印象への主観スコアと視線位置の評価 ~刺激画像が頭部または全身の場合の比較~2021

    • Author(s)
      井上 路子, 西山 正志, 岩井 儀雄
    • Organizer
      情報処理学会シンポジウム インタラクション
    • Related Report
      2020 Research-status Report
  • [Presentation] 人物画像の印象判断時における視線位置の時間変化の解析2020

    • Author(s)
      河口 野乃加, 木下 顕, 井上 路子, 西山 正志, 岩井 儀雄
    • Organizer
      ビジョン技術の実利用ワークショップ (ViEW)
    • Related Report
      2020 Research-status Report
  • [Presentation] 視線位置分布を組み込んだセルフアテンションを用いた性別認識2020

    • Author(s)
      西山 正志, 山口 紗也加, 岩井 儀雄
    • Organizer
      画像センシングシンポジウム (SSII)
    • Related Report
      2020 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi