Developing models to simulate information processing and internal representations of human visual motion perception

2023 Fiscal Year Final Research Report

• Project/Area Number: 20H00603
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Kyoto University
• Principal Investigator: Nishida Shin'ya 京都大学, 情報学研究科, 教授 (20396162)
• Co-Investigator(Kenkyū-buntansha): 吹上 大樹 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 研究員 (50869302)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 視覚系シミュレータ / 運動視 / メタマー / 人工神経回路 / 映像メディア技術

Outline of Final Research Achievements

In order to scientifically understand human information processing and develop innovative information technology, we worked on the functional elucidation and modelling of the human visual system. With regard to visual motion perception, we developed a psychophysical method to visualize the human-perceived motion flow map, and revealed the limitations of prediction of human perception by existing vision science models and state-of-the-art computer vision models. We proposed a new motion detection model combining trainable motion energy sensing and spatial information integration by a self-attention mechanism, showing that it can predict many aspects of human perceptual characteristics. We also revealed the coarse-to-fine matching mechanism in binocular stereopsis and the feature invariance of the region segmentation processing algorithm based on temporal differences in stimulus change.

Free Research Field

人間情報学

Academic Significance and Societal Importance of the Research Achievements

人間の情報処理の科学的理解に基づいて革新的な情報技術を開発するため、過去に視覚科学で蓄積された膨大な科学的知見をシミュレーションモデルに結晶化し、視覚科学に精通していないエンジニアにも人間の特性を活かした技術開発が可能となる仕組み作りを目指す。まずは、主要な認識機能である運動視を中心に人間の視覚情報処理をシミュレートするモデルを構築し、任意の映像入力に対する中間情報表現および最終出力が予測できるようにする。データ駆動型の研究手法を取り入れ、知覚運動マップを可視化するための新たな心理物理実験手法を確立するとともに、深層学習を活用した人間の運動視のシミュレーションモデルを構築した。