• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Annual Research Report

Integrative understanding of deep SHITSUKAN recognition from visual, auditory, tactile and linguistic information

Planned Research

Project AreaAnalysis and synthesis of deep SHITSUKAN information in the real world
Project/Area Number 20H05957
Research InstitutionKyoto University

Principal Investigator

西田 眞也  京都大学, 情報学研究科, 教授 (20396162)

Co-Investigator(Kenkyū-buntansha) 上村 卓也  日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 研究員 (10829394)
堀内 隆彦  千葉大学, 大学院工学研究院, 教授 (30272181)
坂本 真樹  電気通信大学, 大学院情報理工学研究科, 教授 (80302826)
梶本 裕之  電気通信大学, 大学院情報理工学研究科, 教授 (80361541)
Project Period (FY) 2020-11-19 – 2025-03-31
Keywords質感 / 価値 / 情動 / リアリティ / アート
Outline of Annual Research Achievements

・研究代表者の西田らは、質感情報(光学的特性)によって大きく変化する物体運動に伴うオプティカルフローが、物体変形の知覚にほとんど影響を与えないことを見出し、そのメカニズムを分析した。また、インバースレンダリングを用いた知覚的質感手がかりの研究や、DNNモデルによる画質評価モデルの心理物理学的検討、などを行った。今後使用を拡大する予定の眼球運動測定環境の整備を行った。 ・研究分担者の堀内らは、視覚系を中心とした実物の物理情報と知覚量の関係のモデル化を継続し、主に表層質感の適切な画像再現を試みた。また、視覚系に加えて、多感覚情報の統合をモデル化する研究に着手した。・研究分担者の上村らは、音認識で訓練したニューラルネットワークを用いた振幅変調検出実験のシミュレーションについて、論文を投稿した。同時に、両耳音認識でモデルを訓練するパラダイムの検討を開始した。用いるデータセットと評価関数を検討した。・研究分担者の梶本らは、触感生成にとって重要な温度感覚の提示手法を検討し、電気刺激によって冷感を明瞭に提示できることを明らかにした。また化学物質を用いた冷感と温感の提示によって痛覚を生じる錯覚現象を発見し、最適な条件を明らかにした。・研究分担者の坂本らは、革・紙・布・ガラスを対象として、各サンプルを直接 触ったまたは画像を見た際の観的な感性評価(オノマトペ)を得る被験者実験を実施した。触覚実験では、素材を目視せず、利き手の人差し指の腹で各素材をなぞ るという方法で、視覚実験では、蛍光灯照明下で,机の上に置かれたタブレットコンピュータに映し出された画像を,15cm程度離れた座席で見るという方法で あった。50名の被験者が実験に参加し,1サンプルあたりn=25のデータを収集した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

西田チームでは、人間が質感(光学的特性)の違いを乗り越えて運動物体の変形を安定して知覚できることの実験的な証拠が十分に集まった。そのほか、質感関係の研究が複数進行している。さらに、佐藤いまり班や渡辺義浩班との共同研究も開始した。分担研究者のチームでも順調に研究が進み、多くの研究成果が発表された。

Strategy for Future Research Activity

・研究代表者の西田は、視覚と触覚の深奥質感処理を研究する。来年度 は、光学的質感が物体運動知覚に与える影響の検討、視覚と触覚の空間質感情報認識の比較、プロジェクションマッピングによって生じる時間 のずれが生み出す違和感検出のメカニズムのモデル化などを進める。 ・研究分担者の堀内は、これまで実施してきた視覚系を中心とした実物の物理情報 と知覚量の関係のモデル化を、多感覚情報の統合に発展させる。 ・研究分担者の梶本は、人肌質感の再現の一環として人肌同士が接触した際の温度変化の記録再現に取り組む。またこれまでに発見した化学 物質を用いたサーマルグリル錯覚を発展させ、物理的温度提示との融合を図る。さらに簡便なウェアラブル装置による多指触感提示を実現する 。・研究分担者の坂本は、これ度までに、人工皮革(95種)、紙(52種)、布(106種)、ガラス(34種)について、触覚・視覚の印象をオノ マトペで表現する実験データを取得してきた。これからは、質感サンプルを増やしながら同様の実験を継続するとともに、得られたデータでオ ノマトペから素材推薦や新素材開発を可能にするシステム開発を行う。 ・研究分担者の上村は、引き続き、自然な音環境認識のために訓練された人工神経回路 を聴覚系のモデルと見立てる。音源の質感知覚に重要な特徴である振幅変調に着目し、変調への感度を、音認 識で訓練した人工神経回路と人間で比較する。このため、両者に変調検出の心理物理実験を行う。

  • Research Products

    (57 results)

All 2023 2022 Other

All Int'l Joint Research (1 results) Journal Article (13 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (41 results) (of which Int'l Joint Research: 22 results,  Invited: 21 results) Patent(Industrial Property Rights) (2 results)

  • [Int'l Joint Research] デルフト大学(オランダ)

    • Country Name
      NETHERLANDS
    • Counterpart Institution
      デルフト大学
  • [Journal Article] Does training with blurred images bring convolutional neural networks closer to humans with respect to robust object recognition and internal representations?2023

    • Author(s)
      Yoshihara Sou、Fukiage Taiki、Nishida Shin'ya
    • Journal Title

      Frontiers in Psychology

      Volume: 14 Pages: 1047694

    • DOI

      10.3389/fpsyg.2023.1047694

    • Peer Reviewed / Open Access
  • [Journal Article] Suppressing Discomfort Caused by Electrical Stimulation Using a Local Anesthetic Cream2023

    • Author(s)
      Hamazaki Takumi、Saito Taiga、Kaneko Seitaro、Kajimoto Hiroyuki
    • Journal Title

      IEEE Access

      Volume: 11 Pages: 11489~11499

    • DOI

      10.1109/ACCESS.2023.3241605

  • [Journal Article] Softness presentation by combining electro-tactile stimulation and force feedback2023

    • Author(s)
      Suga Yui、Takeuchi Masahiro、Tanaka Satoshi、Kajimoto Hiroyuki
    • Journal Title

      Frontiers in Virtual Reality

      Volume: 4 Pages: 1133146

    • DOI

      10.3389/frvir.2023.1133146

  • [Journal Article] Effect of Chromatic Lighting on Emotional Change in the Observation of Affective Pictures2023

    • Author(s)
      Horiuchi Takahiko、Matsumoto Yuka、Tanaka Midori
    • Journal Title

      Psychology

      Volume: 14 Pages: 335~349

    • DOI

      10.4236/psych.2023.143019

  • [Journal Article] Human-like Modulation Sensitivity Emerging through Optimization to Natural Sound Recognition2023

    • Author(s)
      Takuya Koumura, Hiroki Terashima, Shigeto Furukawa
    • Journal Title

      Journal of Neuroscience

      Volume: - Pages: -

  • [Journal Article] 柔軟球の対向運動による硬さ・曲率変調2022

    • Author(s)
      竹内 将大、金子 征太郎、梶本 裕之
    • Journal Title

      日本バーチャルリアリティ学会論文誌

      Volume: 27(3) Pages: 245~253

    • DOI

      10.18974/tvrsj.27.3_245

  • [Journal Article] Haptic Reproduction of Different Human Skins and Comparison of Rendering Approaches2022

    • Author(s)
      Jianyao Zhang, Hiroyuki Kajimoto
    • Journal Title

      日本バーチャルリアリティ学会論文誌

      Volume: 27(3) Pages: 33-39

    • DOI

      10.18974/tvrsj.27.3_231

  • [Journal Article] Analysis of harmony between color and fragrance in lighting environments by the reaction of the orbitofrontal area2022

    • Author(s)
      Yamashita Gaku、Tanaka Midori、Horiuchi Takahiko
    • Journal Title

      i-Perception

      Volume: 13 Pages: 204166952211021

    • DOI

      10.1177/20416695221102191

  • [Journal Article] Evaluating the Influence of ipRGCs on Color Discrimination2022

    • Author(s)
      Ohtsu Masaya、Kurata Akihiro、Hirai Keita、Tanaka Midori、Horiuchi Takahiko
    • Journal Title

      Journal of Imaging

      Volume: 8 Pages: 154~154

    • DOI

      10.3390/jimaging8060154

  • [Journal Article] Slippage- and load-induced changes in the crystalline orientation of oligo(3-methoxythiophene) powder to develop a gold-tone luster2022

    • Author(s)
      Sugiura Satoya、Mitogawa Terumasa、Saito Kota、Tamura Rihito、Tsukada Satoru、Horiuchi Takahiko、Hoshino Katsuyoshi
    • Journal Title

      RSC Advances

      Volume: 12 Pages: 19965~19973

    • DOI

      10.1039/D2RA03538C

  • [Journal Article] Simple Color Calibration Method by Projection onto Retroreflective Materials2022

    • Author(s)
      Nakamura Yusuke、Horiuchi Takahiko
    • Journal Title

      Journal of Imaging

      Volume: 8 Pages: 239~239

    • DOI

      10.3390/jimaging8090239

  • [Journal Article] Bumpy Appearance Editing of Object Surfaces in Digital Images2022

    • Author(s)
      Manabe Yusuke、Tanaka Midori、Horiuchi Takahiko
    • Journal Title

      Journal of Imaging Science and Technology

      Volume: 66 Pages: 050403

    • DOI

      10.2352/J.ImagingSci.Technol.2022.66.5.050403

  • [Journal Article] Prediction model for perceptual gloss by physical measurement of flat objects2022

    • Author(s)
      Tanaka M、Amari S、Horiuchi T
    • Journal Title

      Lighting Research & Technology

      Volume: 0 Pages: 147715352211240

    • DOI

      10.1177/14771535221124082

  • [Presentation] Modeling of Human Motion Perception Mechanism: A Simulation based on Deep Neural Network and Attention Transformer2023

    • Author(s)
      Sun Zitang, Yun-Hao Yang, Shin’ya Nishida
    • Organizer
      Vision Sciences Society
    • Int'l Joint Research
  • [Presentation] Temporal limits of visual segmentation based on temporal asynchrony in luminance, color, motion direction, and their mixtures2023

    • Author(s)
      Yen-Ju Cheng, Shin’ya Nishida
    • Organizer
      Vision Sciences Society
    • Int'l Joint Research
  • [Presentation] Expanding Dynamic Range of Electrical Stimulation Using Anesthetic Cream2023

    • Author(s)
      Takumi Hamazaki, Taiga Saito, Seitaro Kaneko, Hiroyuki Kajimoto
    • Organizer
      EuroHaptics2022
    • Int'l Joint Research
  • [Presentation] Coldness Presentation to Ventral Forearm using Electrical Stimulation with Elastic Gel and Anesthetic Cream2023

    • Author(s)
      Taiga Saito, Takumi Hamazaki, Seitaro Kaneko, Hiroyuki Kajimoto
    • Organizer
      Augmented Humans2023
    • Int'l Joint Research
  • [Presentation] Impression Prediction of Pachage Design Using Features of Fonts and Colors2023

    • Author(s)
      Yuna Iki, Yuji Nozaki, Haruka Matsukura, Maki Sakamoto
    • Organizer
      AAAI 2023 Spring Symposia
    • Int'l Joint Research
  • [Presentation] Detection of Odor-Related Objects in Images Based on Everyday Odors in Japan2023

    • Author(s)
      Yuki Eda, Haruka Matsukura, Yuji Nozaki, Maki Sakamoto
    • Organizer
      AAAI 2023 Spring Symposia
    • Int'l Joint Research
  • [Presentation] 人間の認知情報処理の科学的理解と映像技術の開発2022

    • Author(s)
      西田眞也
    • Organizer
      MIRU2022
    • Invited
  • [Presentation] 現実的な入力に対して動く人間の視覚系のモデルの構築に向けて2022

    • Author(s)
      西田眞也
    • Organizer
      第188回CG・第32回DCC・第231回CVIM合同研究発表会
    • Invited
  • [Presentation] Deformation detection and constancy across optical material and illumination variations2022

    • Author(s)
      Mitchell J.P. van Zuijlen, Jan Jaap R. van Assen, Shin’ya Nishida
    • Organizer
      European Conference on Visual Perception
    • Int'l Joint Research
  • [Presentation] Measurement of the visual light field within paintings using real-time rendered probes2022

    • Author(s)
      Mitchell J.P. van Zuijlen, Sylvia C. Pont, Shin’ya Nishida
    • Organizer
      The Visual Science of Art Conference 2022
    • Int'l Joint Research
  • [Presentation] Effects of optical material properties on detection of deformation of non-rigid rotating objects2022

    • Author(s)
      Mitchell J.P. van Zuijlen, Jan Jaap R. van Assen, Shin’ya Nishida
    • Organizer
      Vision Sciences Society
    • Int'l Joint Research
  • [Presentation] Perceived object motion variance across optical contexts2022

    • Author(s)
      Jan Jaap R. van Assen, Mitchell J.P. van Zuijlen, Shin’ya Nishida
    • Organizer
      MODVIS
    • Int'l Joint Research
  • [Presentation] Replaceability of two deep generative models trained with a pair of translucent objects with different geometries2022

    • Author(s)
      Masataka Sawayama, Chenxi Liao, Shin'ya Nishida, Bei Xiao
    • Organizer
      Vision Sciences Society (Virtual)
    • Int'l Joint Research
  • [Presentation] 心拍変動に基づいた有彩色照明が感情変化に及ぼす影響の解析2022

    • Author(s)
      松本有夏,田中緑,堀内隆彦
    • Organizer
      日本色彩学会視覚情報基礎研究会
  • [Presentation] Verification of Gloss Representation in Printing using Texture-Aware Error Diffusion Algorithm2022

    • Author(s)
      Donghui Li, Midori Tanaka and Takahiko Horiuchi
    • Organizer
      Computational Color Imaging Workshop
    • Int'l Joint Research / Invited
  • [Presentation] Preliminary Evidence for the Effect of Circadian Rhythms on Color Perception2022

    • Author(s)
      Kyosuke Ota, Midori Tanaka and Takahiko Horiuchi
    • Organizer
      AIC Midterm Meeting
    • Int'l Joint Research / Invited
  • [Presentation] Modeling of Translucency by Physical Measurement of Flat Surfaces2022

    • Author(s)
      Hideaki Todo, Midori Tanaka and Takahiko Horiuchi
    • Organizer
      Colour and Visual Computing Symposium 2022
    • Int'l Joint Research / Invited
  • [Presentation] Effects of Display Modulation Transfer Function using Subpixel Layouts on Subjective Spatial Resolution2022

    • Author(s)
      Tsubasa Ando, Midori Tanaka, Takahiko Horiuchi and Keiichiro Masaoka
    • Organizer
      Colour and Visual Computing Symposium 2022
    • Int'l Joint Research / Invited
  • [Presentation] Effects of ipRGC on Color Perception based on Display-Based Color-Matching Task2022

    • Author(s)
      Kyosuke Ota, Keita Akiba, Midori Tanaka and Takahiko Horiuchi
    • Organizer
      Colour and Visual Computing Symposium 2022
    • Int'l Joint Research / Invited
  • [Presentation] Layered Perceptual Modeling Using Structural Equation Modeling: Exploring Structure with Genetic Algorithm2022

    • Author(s)
      Shuhei Watanabe and Takahiko Horiuchi
    • Organizer
      IEEE International Conference on Systems, Man, and Cybernetics
    • Int'l Joint Research / Invited
  • [Presentation] Color Matching Experiment for Moving Point Light Source2022

    • Author(s)
      Riho Ogawa, Midori Tanaka and Takahiko Horiuchi
    • Organizer
      Asia Color Association Conference
    • Int'l Joint Research / Invited
  • [Presentation] Bumpy Appearance Editing of Object Surfaces in Digital Images2022

    • Author(s)
      Yusuke Manabe, Midori Tanaka and Takahiko Horiuchi
    • Organizer
      Color Imaging Conference
    • Int'l Joint Research / Invited
  • [Presentation] Effect of Pixel Aperture Ratio on Subjective Spatial Resolution2022

    • Author(s)
      Keita Nakamura, Midori Tanaka, Takahiko Horiuchi and Keiichiro Masaoka
    • Organizer
      29th International Display Workshops
    • Int'l Joint Research / Invited
  • [Presentation] 道具を介した柔軟物押下時に想起されるオノマトペと物性の関連性2022

    • Author(s)
      金田実久,金子征太郎,梶本裕之
    • Organizer
      第27回 日本バーチャルリアリティ学会大会
  • [Presentation] なぞり感提示を目的とした回転板による指先触覚提示手法の検討2022

    • Author(s)
      加藤総真,須賀悠偉,宮上昌大,溝口泉,梶本裕之
    • Organizer
      第27回 日本バーチャルリアリティ学会大会
  • [Presentation] 音楽体験における運動錯覚を用いたノリ動作提示2022

    • Author(s)
      成田叡賦,中山翔太,真鍋光希,牛山奎悟,田中叡,溝口泉,梶本裕之
    • Organizer
      第27回 日本バーチャルリアリティ学会大会
  • [Presentation] 指先側面への電気刺激による疑似力覚提示の検討2022

    • Author(s)
      中山翔太,真鍋光希,牛山奎悟,宮上昌大,_橋哲史,梶本裕之
    • Organizer
      第27回 日本バーチャルリアリティ学会大会
  • [Presentation] 化学物質を用いたサーマルグリル錯覚における刺激配置の検討2022

    • Author(s)
      浜崎拓海,金田実久,金子征太郎,梶本裕之
    • Organizer
      第27回 日本バーチャルリアリティ学会大会
  • [Presentation] のりスプレーとコールドスプレーの混合物を用いた破裂感提示の比較2022

    • Author(s)
      浜崎拓海,宮上昌大,金子征太郎,梶本裕之
    • Organizer
      第27回 日本バーチャルリアリティ学会大会
  • [Presentation] 皮膚電気刺激と力覚の融合による硬軟感提示(第 3 報) 柔軟電極による皮膚感覚提示2022

    • Author(s)
      須賀悠偉,竹内将大,田中叡,梶本裕之
    • Organizer
      ロボティクス・メカトロニクス講演会2022
  • [Presentation] 視覚特性の個_差を考慮したipRGCが_弁別に与える影響の考察2022

    • Author(s)
      大津昌也,田中緑,堀内隆彦
    • Organizer
      日本色彩学会第53回全国大会
    • Invited
  • [Presentation] サブ画素配列のディスプレイMTFが知覚的解像度に与える影響の検証2022

    • Author(s)
      安渡翼,田中緑,堀内隆彦,正岡顕一郎
    • Organizer
      日本色彩学会第53回全国大会
    • Invited
  • [Presentation] Change-detection taskによる質感変容の視知覚実験と解析2022

    • Author(s)
      岩瀬弘大,松藤百花,田中緑,堀内隆彦
    • Organizer
      日本色彩学会視覚情報基礎研究会
    • Invited
  • [Presentation] ディジタル画像で表現された物体表面の凹凸感編集方法2022

    • Author(s)
      真鍋裕亮,田中緑,堀内隆彦
    • Organizer
      電子情報通信学会電子ディスプレイ研究会
    • Invited
  • [Presentation] 眼窩前頭前野の反応に着目した照明環境下における色彩と香りの調和の解析2022

    • Author(s)
      大場俊範,山下岳,田中緑,堀内隆彦
    • Organizer
      日本色彩学会色彩科学系5研究会合同研究発表会
    • Invited
  • [Presentation] ipRGCが周辺視の色弁別に与える影響の実験的考察2022

    • Author(s)
      大津昌也,田中緑,堀内隆彦
    • Organizer
      日本色彩学会視覚情報基礎研究会
    • Invited
  • [Presentation] 自然画像を対象とした物体表面の凹凸感編集方法2022

    • Author(s)
      真鍋裕亮,田中緑,堀内隆彦
    • Organizer
      日本色彩学会視覚情報基礎研究会
    • Invited
  • [Presentation] Artificial Neural Network as a Computational Model to Explain Neuronal Tuning Properties in the Ascending Auditory Pathway2022

    • Author(s)
      上村 卓也
    • Organizer
      生物音響学会
    • Invited
  • [Presentation] 音認識のための人工ニューラルネットワークにおける両耳間時間差チューニング2022

    • Author(s)
      上村 卓也
    • Organizer
      センシング技術応用研究会
    • Invited
  • [Presentation] Computer Vision for Expressing Texture Using Sound-Symbolic Words2022

    • Author(s)
      Maki Sakamoto
    • Organizer
      Intelligence Research Labs (MIR Labs) Joint Conferences
    • Int'l Joint Research / Invited
  • [Presentation] Phantom Puck: Altering the Perception in Air Hockey by Projection-based Illusion2022

    • Author(s)
      Kengo Sato, Hiroki Terashima, Shin'ya Nishida, Yoshihiro Watanabe
    • Organizer
      SIGGRAPH ASIA (Emergent Technologies)
    • Int'l Joint Research
  • [Patent(Industrial Property Rights)] 痛み提示シート、及び、痛み提示方法2022

    • Inventor(s)
      浜崎拓海, 金田実久, 張建堯, 金子征太郎, 梶本裕之
    • Industrial Property Rights Holder
      浜崎拓海, 金田実久, 張建堯, 金子征太郎, 梶本裕之
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2022-141164
  • [Patent(Industrial Property Rights)] 電気触覚の提示方法2022

    • Inventor(s)
      浜崎拓海,齋藤大雅,金子征太郎,梶本裕之
    • Industrial Property Rights Holder
      浜崎拓海,齋藤大雅,金子征太郎,梶本裕之
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2023-011929

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi