• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Visualization of mental template as a high-quality natural image using deep learning and reverse correlation method

Research Project

Project/Area Number 20K12025
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61060:Kansei informatics-related
Research InstitutionOsaka University

Principal Investigator

Naito Tomoyuki  大阪大学, 大学院医学系研究科, 准教授 (90403188)

Project Period (FY) 2020-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2021: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2020: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
KeywordsStyleGAN / 逆相関法 / 心的テンプレート / 空間 / 寝室 / 魅力度推定 / 寝室画像 / 敵対的生成ネットワーク / 魅力 / 埋め込み / Mental template / GAN / reverse correlation / latent vector / 深層学習 / 感性形容詞
Outline of Research at the Start

心的テンプレートとは、対象の典型的な心的イメージ(例えば有能さ、優しさ、日本的など)とされる。本研究は深層学習と逆相関法を組み合わせることによって、心的テンプレートを高画質カラー画像 として可視化することを目的とする。本研究では styleGANを用いて、自然画像の特徴ベ クトルを各画像について生成する。画像の感性評定課題(美醜評価)を行い、心理学的逆相関法に より魅力スコアの高い(低い)特徴ベクトルをそれぞれ高品質カラー画像として可視化する。感性 評価実験から style-based GAN と逆相関法によるによる出力画像が魅力度心的テンプレートとなっ ているかどうかを確認する。

Outline of Final Research Achievements

We investigated whether it is possible to visualize an ideal image (mental template) of a space defined by the arrangement of multiple objects, such as a bedroom, by using the adversarial generative network model (StyleGAN) and the psychological reverse correlation method. The mental template for bedroom attractiveness was created from the attractiveness rating scores for bedroom images generated by StyleGAN, which was trained on 50,000 bedroom images. The results suggested about in 90% of subjects, the mental template significantly predicted the attractiveness scores suggesting that the mental template hypothesis is valid in space as well.

Academic Significance and Societal Importance of the Research Achievements

人の感性評価がどのような処理で成り立っているのかについては未知な点が多い。本研究では申請者のグループが提唱している心的テンプレート仮説が、単一対象物だけでなく複数のオブジェクトの配置で既定される空間においても成立するかどうかを検討した。その結果、空間に対しても人は理想的なイメージを脳内に保有しており、敵対的生成ネットワークモデルと逆相関法を用いることでその理想的なイメージを可視化可能であることが明らかとなった。本研究成果から建築・インテリア・デザインなどに対する理想的イメージを可視化することが可能であることが示され、今後の社会実装の実現可能性が極めて高いことが明らかとなった。

Report

(4 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (15 results)

All 2022 2021 2020 Other

All Journal Article (5 results) (of which Peer Reviewed: 2 results,  Open Access: 4 results) Presentation (5 results) (of which Invited: 3 results) Book (1 results) Remarks (1 results) Patent(Industrial Property Rights) (3 results) (of which Overseas: 3 results)

  • [Journal Article] Experimental verification for perceptual and cognitive processing of visual aesthetic experiences2021

    • Author(s)
      Wakabayashi Masahiro、Kitaguchi Masatoshi、Sato Hiromichi、Naito Tomoyuki
    • Journal Title

      Vision Research

      Volume: 185 Pages: 68-76

    • DOI

      10.1016/j.visres.2021.04.003

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Reconstructed spatial receptive field structures by reverse correlation technique explains the visual feature selectivity of units in deep convolutional neural networks2021

    • Author(s)
      Yoshiyuki R Shiraishi, Hiromichi Sato, Takahisa M Sanada, Tomoyuki Naito
    • Journal Title

      arXiv

      Volume: arXiv:2103.02587 Pages: 1-28

    • Related Report
      2021 Research-status Report
    • Open Access
  • [Journal Article] Experimental verification for perceptual and cognitive processing of visual aesthetic experience.2021

    • Author(s)
      Wakabayashi M, Kitaguchi M, Sato H, Naito T.
    • Journal Title

      Vision Research

      Volume: in press Pages: 1-9

    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Reconstructed spatial receptive field structures by reverse correlation technique explains the visual feature selectivity of the unit in the deep convolutional neural network.2021

    • Author(s)
      Shiraishi RY, Sato H, Sanada MT, Naito T.
    • Journal Title

      arXiv

      Volume: 2013.02587 Pages: 1-28

    • Related Report
      2020 Research-status Report
    • Open Access
  • [Journal Article] Development of a highly sensitive color vision inspection system2020

    • Author(s)
      Kitaguchi M, Naito T, Sato H
    • Journal Title

      IEICE Tech. Rep.

      Volume: 120 Pages: 25-28

    • Related Report
      2020 Research-status Report
  • [Presentation] 基礎心理学研究における深層学習の役割2021

    • Author(s)
      内藤智之
    • Organizer
      日本基礎心理学大会
    • Related Report
      2021 Research-status Report
    • Invited
  • [Presentation] 人工知能を用いた魅力的な顔および自動車の心的イメージ可視化研究2021

    • Author(s)
      内藤智之
    • Organizer
      視覚科学フォラム
    • Related Report
      2021 Research-status Report
    • Invited
  • [Presentation] AIによるdeepfake絵画生成とその精度の検証2021

    • Author(s)
      上田悠佳、内藤智之
    • Organizer
      日本視覚学会
    • Related Report
      2020 Research-status Report
  • [Presentation] AI芸術家の色使い2020

    • Author(s)
      内藤智之
    • Organizer
      日本視覚学会
    • Related Report
      2020 Research-status Report
    • Invited
  • [Presentation] 深層学習を用いた心的テンプレートの可視化研究2020

    • Author(s)
      内藤智之
    • Organizer
      視覚科学フォーラム
    • Related Report
      2020 Research-status Report
  • [Book] PsychoPyでつくる心理学実験2020

    • Author(s)
      J. Peirce、M. MacAskill、蘆田 宏、十河 宏行、川島朋也、藏口佳奈、内藤智之、松本絵理子
    • Total Pages
      328
    • Publisher
      朝倉書店
    • ISBN
      4254520298
    • Related Report
      2020 Research-status Report
  • [Remarks] 内藤智之

    • URL

      https://sites.google.com/site/naitotomoyuki/re-vision-japanese/gyouseki

    • Related Report
      2020 Research-status Report
  • [Patent(Industrial Property Rights)] 17/7987502022

    • Inventor(s)
      内藤智之
    • Industrial Property Rights Holder
      内藤智之
    • Industrial Property Rights Type
      特許
    • Filing Date
      2022
    • Acquisition Date
      2022
    • Related Report
      2022 Annual Research Report
    • Overseas
  • [Patent(Industrial Property Rights)] 心的イメージ可視化方法、心的イメージ可視化装置及びプログラム2021

    • Inventor(s)
      今井亮太、内藤智之
    • Industrial Property Rights Holder
      大阪大学
    • Industrial Property Rights Type
      特許
    • Filing Date
      2021
    • Related Report
      2021 Research-status Report
    • Overseas
  • [Patent(Industrial Property Rights)] 心的イメージ可視化方法、心的イメージ可視化装置及びプログラム2021

    • Inventor(s)
      内藤智之、今井亮太
    • Industrial Property Rights Holder
      内藤智之、今井亮太
    • Industrial Property Rights Type
      特許
    • Filing Date
      2021
    • Related Report
      2020 Research-status Report
    • Overseas

URL: 

Published: 2020-04-28   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi