Psychophysical analysis of visual, auditory and tactile information for material recognition

2014 Fiscal Year Final Research Report

• Project Area: Integrative studies of neural mechanisms and advanced information technologies for perception of material and surface qualities
• Project/Area Number: 22135004
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: NTT Communication Science Laboratories
• Principal Investigator: NISHIDA SHIN'YA 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 主幹研究員 (20396162)
• Co-Investigator(Kenkyū-buntansha): UCHIKAWA Keiji 東京工業大学, 総合理工学研究科, 教授 (00158776) ; MOTOYOSHI Isamu 東京大学, 総合文化研究科, 准教授 (60447034) ; FUJISAKI Waka 国立研究開発法人産業技術総合研究所, 主任研究員 (20509509)
• Co-Investigator(Renkei-kenkyūsha): WATANABE Junji 日本電信電話株式会社, NTTコミュニケーション科学基礎研究所・人間情報研究部, 主任研究員 (40500898) ; KAWABE Takahiro 日本電信電話株式会社, NTTコミュニケーション科学基礎研究所・人間情報研究部, 主任研究員 (40423511) ; MARUYA Kazushi 日本電信電話株式会社, NTTコミュニケーション科学基礎研究所・人間情報研究部, 主任研究員 (20626634) ; HO Hsin-Ni 日本電信電話株式会社, NTTコミュニケーション科学基礎研究所・人間情報研究部, 研究主任 (60466406) ; KUROKI Scinob 日本電信電話株式会社, NTTコミュニケーション科学基礎研究所・人間情報研究部, 研究員 (70648104) ; SHINYA Mikio 東邦大学, 理学部, 教授 (50339199) ; FUKUDA Kazuho 工学院大学, 情報学部, 准教授 (50572905)
• Research Collaborator: YOKOSAKA Takumi ; WANG Qing ; KIMURA Akisato ; TSUCHIDA Masaru ; MIHASHI Toshifumi ; YOSHIDA Keisuke ; MATSUMOTO Tomohisa ; TOKITA Midori ; KANAYA Syoko
• Project Period (FY): 2010-04-01 – 2015-03-31
• Keywords: 質感 / 視覚 / 触覚 / マルチモーダル / 光沢感 / 色覚 / プロジェクションマッピング / 画像

Outline of Final Research Achievements

We psychophysically analyzed human material perception. We found how gloss perception is affected by image properties of illumination, color relationships between highlight and body, spatial relationships between highlight and surface shading, and the time course of infant development. We found image cues to translucency, and a new aftereffect wherein adaptation alters the material, shape and category of objects. We found critical information about liquid material perception lies in image motion vector fields, as well as in dynamic image deformation fields. We have developed a hyperspectral two-dimensional display, and a projection mapping technique that makes a static objects appear dynamic. We found counterintuitive effects of object and hand colors on object temperature judgments, and a computational principle of integration of audio-visual material information.

Free Research Field

人間情報学