Developing models to simulate information processing and internal representations of human visual motion perception

• Project/Area Number: 20H00603
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Kyoto University
• Principal Investigator: 西田 眞也 京都大学, 情報学研究科, 教授 (20396162)
• Co-Investigator(Kenkyū-buntansha): 吹上 大樹 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 研究員 (50869302)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Project Status: Completed (Fiscal Year 2023)
• Budget Amount: ¥45,370,000 (Direct Cost: ¥34,900,000、Indirect Cost: ¥10,470,000); Fiscal Year 2023: ¥8,970,000 (Direct Cost: ¥6,900,000、Indirect Cost: ¥2,070,000); Fiscal Year 2022: ¥8,970,000 (Direct Cost: ¥6,900,000、Indirect Cost: ¥2,070,000); Fiscal Year 2021: ¥8,970,000 (Direct Cost: ¥6,900,000、Indirect Cost: ¥2,070,000); Fiscal Year 2020: ¥18,460,000 (Direct Cost: ¥14,200,000、Indirect Cost: ¥4,260,000)
• Keywords: 視覚系シミュレータ / 運動視 / メタマー / 人工神経回路 / 映像メディア技術

Outline of Research at the Start

サイエンスとエンジニアリングを融合し、人間の特性を活かしたメディア技術開発を進めるために、これまでに蓄積されてきた多種多様な認知科学的知見を計算シミュレーションモデルに結晶化させることは有効である。本プロジェクトでは運動視に注目し、実験分析的手法とデータ駆動型手法（人工神経回路による機械学習）を組み合わせ、実験室実験やクラウドソーシングによって必要な心理データを補い、低次から高次までの運動視情報処理をモデル化し、任意の映像入力に対する運動視系の中間情報表現および最終出力が予測できるようにする。

Outline of Annual Research Achievements

【モデル構築】人工神経回路による機械学習に基づいたコンピュータビジョンの運動フロー検出モデルが人間の視覚運動知覚と異なる特性を示すことを示し、国際学会CCN2023で発表した。運動エネルギー検出と自己アテンションメカニズムの二段階からなる運動フロー検出モデルが、生理学的及び心理物理学的特性において人間の運動視の良いモデルになっていることを示し、その結果を国際会議VSS2023およびNeurIPS2023にて発表した。さらに、光沢物体や透明物体の動きの推定から二次運動の知覚能力が学習可能であることを見出し、国際会議VSS2024にて発表予定である。
【モデル評価のための心理物理実験】任意の動画のある位置あるタイミングの運動ベクトルの知覚を推定する心理物理学的方法を、自然映像に近 い複雑性を持ち、かつ物理的なオプティカルフローの正解値が分かっているコンピュータグラフィックスアニメーション(MPI Sintel Optical Flow Dataset)に対して適用し、人間が知覚するオプティカルフローを推定したデータを測定し、FlownetやRAFTなどの機械学習を用いた最新のコンピュータビジョンのオプティカルフロー推定アルゴリズムの出力と比較した。その結果、人間の運動視の特性を部分的にしか説明しないこと、運動情報の統合・分節化や、座標変換のプロセスをモデルに導入する必要があることを明らかにし、国際会議VSS2023および国際誌iScienceにてその結果を発表した。さらに、運動推定の時間窓が100ms程度であることを明らかにするとともに、クラウドソーシングで知覚運動フローデータを収集する方法も確立した。そのほか、視覚メカニズム全般のモデル化に向け、視覚的分節化の時間特性や両眼立体視における空間周波数相互作用の特性、画像の自然さの特性を解明した。

Research Progress Status

令和5年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和5年度が最終年度であるため、記入しない。

Research Products

• [Int'l Joint Research] 国立台湾大学(その他の国・地域)
• [Journal Article] Coarse-to-fine interaction on perceived depth in compound grating (2023)
  • Author(s): Chen Pei-Yin、Chen Chien-Chung、Nishida Shin'ya
  • Journal Title: Journal of Vision Volume: 23 Issue: 9 Pages: 4852-4852
  • DOI: 10.1167/jov.23.9.4852
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Psychophysical measurement of perceived motion flow of naturalistic scenes (2023)
  • Author(s): Yang Yung-Hao、Fukiage Taiki、Sun Zitang、Nishida Shin’ya
  • Journal Title: iScience Volume: 26 Issue: 12 Pages: 108307-108307
  • DOI: 10.1016/j.isci.2023.108307
  • Peer Reviewed / Open Access
• [Journal Article] Decoupled spatiotemporal adaptive fusion network for self-supervised motion estimation (2023)
  • Author(s): Sun Zitang、Luo Zhengbo、Nishida Shin’ya
  • Journal Title: Neurocomputing Volume: 534 Pages: 133-146
  • DOI: 10.1016/j.neucom.2023.03.012
  • Peer Reviewed / Open Access
• [Journal Article] Does training with blurred images bring convolutional neural networks closer to humans with respect to robust object recognition and internal representations? (2023)
  • Author(s): Yoshihara Sou、Fukiage Taiki、Nishida Shin'ya
  • Journal Title: Frontiers in Psychology Volume: 14 Pages: 1047694-1047694
  • DOI: 10.3389/fpsyg.2023.1047694
  • Peer Reviewed / Open Access
• [Journal Article] Shape Bias獲得へ向けて：人間の視覚発達過程に基づいた，段階的な画像ぼかしによる畳み込みニューラルネットワークの訓練 (2021)
  • Author(s): 吉原 創、吹上 大樹、西田 眞也
  • Journal Title: VISION Volume: 33 Issue: 1 Pages: 1-5
  • DOI: 10.24636/vision.33.1_1
  • NAID: 130007975944
  • ISSN: 0917-1142, 2433-5630
  • Year and Date: 2021-01-20
  • Open Access
• [Presentation] Temporal Dynamics Gap between Position Tracking and Attribute Tracking (2024)
  • Author(s): Yen-Ju Chen, Zitang Sun, Shin’ya Nishida
  • Organizer: Vision Sciences Society
  • Int'l Joint Research
• [Presentation] Temporal characteristics of perceived motion flow of naturalistic movies (2024)
  • Author(s): Yung-Hao Yang, Taiki Fukiage, Zitang Sun, Shin’ya Nishida
  • Organizer: Vision Sciences Society
  • Int'l Joint Research
• [Presentation] Acquisition of second-order motion perception by learning to recognize the motion of objects made by non-diffusive materials (2024)
  • Author(s): Zitang Sun, Yen-Ju Chen, Yun-Hao Yang, Shin’ya Nishida
  • Organizer: Vision Sciences Society
  • Int'l Joint Research
• [Presentation] Modeling of Human Motion Perception Mechanism: A Simulation based on Deep Neural Network and Attention Transformer (2023)
  • Author(s): Sun Zitang, Yun-Hao Yang, Shin’ya Nishida
  • Organizer: Vision Sciences Society
  • Int'l Joint Research
• [Presentation] Temporal limits of visual segmentation based on temporal asynchrony in luminance, color, motion direction, and their mixtures (2023)
  • Author(s): Yen-Ju Cheng, Shin’ya Nishida
  • Organizer: Vision Sciences Society
  • Int'l Joint Research
• [Presentation] Local image statistics can account for the perceived naturalness of image contrast. (2023)
  • Author(s): Taiki Fukiage, Shin’ya Nishida
  • Organizer: Vision Sciences Society
  • Int'l Joint Research
• [Presentation] A Comparative Analysis of Visual Motion Perception: Computer Vision Models versus Human Abilities (2023)
  • Author(s): Sun Zitang, Yen-Ju Chen, Yun-Hao Yang, Shin’ya Nishida
  • Organizer: Conference on Cognitive Computational Neuroscience
  • Int'l Joint Research
• [Presentation] Modelling Human Visual Motion Processing with Trainable Motion Energy Sensing and a Self-attention Network for Adaptive Motion Integration (2023)
  • Author(s): Sun Zitang, Yen-Ju Chen, Yun-Hao Yang, Shin’ya Nishida
  • Organizer: NeulIPS (Conference on Neural Information Processing Systems)
  • Int'l Joint Research
• [Presentation] Modeling of Human Motion Perception Mechanism: A Simulation based on Deep Neural Network and Attention Transformer (2023)
  • Author(s): Sun Zitang, Yung-Hao Yang, Shin'ya Nishida
  • Organizer: Vision Sciences Society
• [Presentation] Psychophysical measurement of perceived motion flow in naturalistic scenes (2022)
  • Author(s): Yung-Hao Yang; Taiki Fukiage; Shin’ya Nishida
  • Organizer: Vision Sciences Society
  • Int'l Joint Research
• [Presentation] 人間の認知情報処理の科学的理解と映像技術の開発 (2022)
  • Author(s): 西田眞也
  • Organizer: MIRU2022
  • Invited
• [Presentation] 現実的な入力に対して動く人間の視覚系のモデルの構築に向けて (2022)
  • Author(s): 西田眞也
  • Organizer: 第188回CG・第32回DCC・第231回CVIM合同研究発表会
  • Invited
• [Presentation] Towards acquisition of shape bias: Training convolutional neural networks with blurred images (2021)
  • Author(s): Sou Yoshihara, Taiki Fukiage, Shin'ya Nishida
  • Organizer: Vision Sciences Society
  • Int'l Joint Research
• [Presentation] ぼけた画像を体験することが 視覚系に与える効果の in silico分析 (2021)
  • Author(s): 西田眞也、吉原創、吹上大樹
  • Organizer: 日本視覚学会夏季大会
• [Presentation] Vision Science for Display Technologies (2021)
  • Author(s): Shin'ya Nishida
  • Organizer: International Display Workshops
  • Int'l Joint Research / Invited
• [Presentation] Shape Bias獲得へ向けて: 人間の視覚発達過程に基づいた、段階的な画像ぼかしによる 畳み込みニューラルネットワークの訓練 (2020)
  • Author(s): 吉原 創、吹上 大樹、西田 眞也
  • Organizer: 日本視覚学会
• [Remarks] Modelling Human Visual Motion Processing with ...
  • URL: https://huggingface.co/spaces/Zitang/Self-attention-based-V1MT-motion-model