Examination of transcultural distinctiveness in physical expression with deep neural networks

• Project Area: Construction of the Face-Body studies in transcultural conditions
• Project/Area Number: 20H04580
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Humanities and Social Sciences
• Research Institution: Osaka University
• Principal Investigator: 内藤 智之 大阪大学, 医学系研究科, 講師 (90403188)
• Project Period (FY): 2020-04-01 – 2022-03-31
• Project Status: Completed (Fiscal Year 2021)
• Budget Amount: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000); Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
• Keywords: 心的テンプレート / 魅力顔 / 逆相関法 / GAN / reverse correlation / mental template / latent vector / 身体表現 / 魅力 / 顔 / 敵対的生成ネットワーク

Outline of Research at the Start

本研究では魅力心的テンプレートを高画質カラー画像としての可視化を試みる。
1. 従来方法で低画質モノクロ画像として可視化に成功した顔魅力心的テンプレートを、styleGAN＋逆相関法を用いることで高画質カラー画像として可視化可能であることを検証し、特 徴ベクトルを得る。
2. 魅力顔心的テンプレートに対応した特徴ベクトルから、被験者群が複数のグループにクラスターとして分類可能かどうかを検討する。
3. 魅力顔心的テンプレートに対応する特徴ベクトル の情報表現について解析を行う。

Outline of Annual Research Achievements

個人の理想的な顔イメージの判断器ギュン（心的テンプレート）を可視化する技術として、逆相関法と敵対的生成ネットワークを用いた手法の検討を行った結果、魅力顔の心的テンプレートが同技術で作成可能であることが明らかとなった。更に同様に可視化した魅力的自動車の心的テンプレートから、魅力顔心的テンプレートが予測可能であることが示された。このことは、顔と自動車の魅力度評定おける心的プロセスにかなりの部分で重複が存在することを示唆している。

Research Progress Status

令和3年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和3年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Experimental verification for perceptual and cognitive processing of visual aesthetic experiences (2021)
  • Author(s): Wakabayashi Masahiro、Kitaguchi Masatoshi、Sato Hiromichi、Naito Tomoyuki
  • Journal Title: Vision Research Volume: 185 Pages: 68-76
  • DOI: 10.1016/j.visres.2021.04.003
  • Peer Reviewed / Open Access
• [Journal Article] Reconstructed spatial receptive field structures by reverse correlation technique explains the visual feature selectivity of units in deep convolutional neural networks (2021)
  • Author(s): Yoshiyuki R Shiraishi, Hiromichi Sato, Takahisa M Sanada, Tomoyuki Naito
  • Journal Title: arXiv Volume: arXiv:2103.02587 Pages: 1-28
  • Open Access
• [Journal Article] Experimental verification for perceptual and cognitive processing of visual aesthetic experience. (2021)
  • Author(s): Wakabayashi M, Kitaguchi M, Sato H, Naito T.
  • Journal Title: Vision Research Volume: in press Pages: 1-9
  • Peer Reviewed / Open Access
• [Journal Article] Development of a highly sensitive color vision inspection system (2020)
  • Author(s): Kitaguchi M, Naito T, Sato H
  • Journal Title: IEICE Tech. Rep Volume: 120 Pages: 25-28
• [Presentation] 基礎心理学における深層学習の役割 (2021)
  • Author(s): 内藤智之
  • Organizer: 日本基礎心理学会
  • Invited
• [Presentation] 人工知能を用いた魅力的な顔及び自動車の心的イメージ可視化研究 (2021)
  • Author(s): 内藤智之
  • Organizer: 視覚科学フォーラム
  • Invited
• [Presentation] AIによるdeepfake絵画生成とその精度の検証 (2021)
  • Author(s): 上田悠佳、内藤智之
  • Organizer: 日本視覚学会冬季大会
• [Presentation] AI芸術家の色使い (2021)
  • Author(s): 内藤智之
  • Organizer: 日本色彩学会
  • Invited
• [Presentation] 深層学習を用いた心的テンプレートの可視化研究 (2021)
  • Author(s): 内藤智之
  • Organizer: 日本視覚学会
• [Book] PsychoPyでつくる心理学実験 (2020)
  • Author(s): 蘆田宏、十河宏行、川島朋也、藏口佳奈、内藤智之、松本絵理子
  • Total Pages: 308
  • Publisher: 朝倉出版
  • ISBN: 4254520298
• [Patent(Industrial Property Rights)] 心的イメージ可視化方法、心的イメージ可視化装置及びプログラム (2021)
  • Inventor(s): 内藤智之、今井亮太
  • Industrial Property Rights Holder: 大阪大学
  • Industrial Property Rights Type: 特許
  • Filing Date: 2021
  • Overseas