2019 Fiscal Year Final Research Report

Visual, auditory and tactile SHITSUKAN recognition mechanisms based on signal modulations

Planned Research

PDF

Project Area	Understanding human recognition of material properties for innovation in SHITSUKAN science and technology
Project/Area Number	15H05915
Research Category	Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
Allocation Type	Single-year Grants
Review Section	Complex systems
Research Institution	Kyoto University (2019) NTT Communication Science Laboratories (2015-2018)
Principal Investigator	NISHIDA SHINYA 京都大学, 情報学研究科, 教授 (20396162)
Co-Investigator(Kenkyū-buntansha)	古川茂人日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 上席特別研究員 (90396169) 鈴木匡子東北大学, 医学系研究科, 教授 (20271934) 柳井啓司電気通信大学, 大学院情報理工学研究科, 教授 (20301179)
Project Period (FY)	2015-06-29 – 2020-03-31
Keywords	質感 / 情報工学 / 認知科学 / 神経科学 / 感性情報学 / 深層学習 / 高次脳機能障害 / スタイル変換
Outline of Final Research Achievements	In order to elucidate the mechanisms of the brain that perceive diverse and complex Shitsukan information embedded in the modulation patterns of visual, auditory, and tactile sensory signals, we identified the modulation information associated with various Shitsukan sensations and elucidated the detection mechanisms. We applied deep learning techniques to estimate the structure of hierarchical information processing in the brain. We also clinically studied how Shitsukan perception changes when the brain functions are impaired. In addition, we developed technologies for Shitsukan management using scientific knowledge on human Shitsukan recognition and the cutting-edge media technologies.
Free Research Field	人間情報学
Academic Significance and Societal Importance of the Research Achievements	人間が「もの」や「こと」の本性である「質感」をどのように認識しているかは、認知神経科学的にも情報工学的にも多くの謎が残された問題である。昨今、産業界からも質感研究の進展に対する期待が高まっている。本研究は、基本的な質感である光沢感、濡れ感、粘性、材質感、聴覚AM変調、テスクチャ触感などの認識メカニズムを、心理物理、機械学習、神経心理などの手法を組み合わせて多角的に検討するとともに、見かけのリアリティを保ったまま質感を操作するさまざまな技術の開発を行った。