• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Annual Research Report

Developing models to simulate information processing and internal representations of human visual motion perception

Research Project

Project/Area Number 20H00603
Research InstitutionKyoto University

Principal Investigator

西田 眞也  京都大学, 情報学研究科, 教授 (20396162)

Co-Investigator(Kenkyū-buntansha) 吹上 大樹  日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 研究員 (50869302)
Project Period (FY) 2020-04-01 – 2024-03-31
Keywords視覚系シミュレータ / 運動視 / メタマー / 人工神経回路 / 映像メディア技術
Outline of Annual Research Achievements

本研究は、おもにモデルの構築とモデルの評価を並行して進めている。 【モデル構築】これまで運動視に関するモデル構築は、おもに分析・構成型のアプローチで進んできた。一方、最近はデータ駆動型のアプローチを用いて、動画から運動フローを推定する人工神経回路を一気通貫(End-to-End)で学習した研究も報告されている。本計画では、これらの先行研究を参考に、分析・統合型と データ駆動型のアプローチを融合して、運動視処理全体のモデル構築を行う。令和4年度は、CNNの基づくコンピュータビジョンの運動フロー検出モデルが人間の視覚と異なる特性を示すとともに、運動エネルギー検出と自己アテンションメカニズムの二段階からなる運動フロー検出モデルを開発し、生理学的及び心理物理学的特性において、人間の運動視の良いモデルになっていることを示した。また、ロバストな物体認識に対してボケ画像の学習が与える影響を検討した論文を発表した。【モデル評価のための心理物理実験】任意の動画のある位置あるタイミングの運動ベクトルの知覚を推定する心理物理学的方法を、自然映像に近 い複雑性を持ち、かつ物理的なオプティカルフローの正解値が分かっているコンピュータグラフィックスアニメーション(MPI Sintel Optical Flow Dataset)に 対して適用し、人間が知覚するオプティカルフローを推定したデータを測定した、運動エネルギーモデルなどの視覚科学で提案されてきた運動検出モデルや、FlownetやRAFTなどの機械学習を用いた最新のコンピュータビジョンのオプティカルフロー推定アルゴリズムの出力と比較した結果、人間の運動視の特性を部分的にしか説明しないこと、運動情報の統合・分節化や、座標変換のプロセスをモデルに導入する必要があることが明らかとなった。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

計画通り、人間が知覚するオプティカルフローを推定する方法を確立し、この手法を自然画像に近いSintel Datasetに対して用いることで知覚オプティカルフローを推定した。人間が知覚するオプティカルフローが現存のオプティカルフロー推定モデルでは説明できない点があることを示した。さらに、DNNと注意機構を使った新しい運動視モデルを開発し、既存のモデルに比べて、人間の特性をよりよく説明できる可能性を示した。

Strategy for Future Research Activity

クラウドソーシングなどの手法を使って人間の運動フロー知覚データの拡充を図る。さらに、提案したフロー検出モデルの精度を向上させる方法を模索する。とくに、二次運動や遮蔽輪郭が運動統合に与える影響など、高次の運動視機能をモデルで実現することに挑戦する。研究成果をまとめ、国際学会で発表する。

  • Research Products

    (5 results)

All 2023 2022

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (4 results) (of which Int'l Joint Research: 1 results,  Invited: 2 results)

  • [Journal Article] Does training with blurred images bring convolutional neural networks closer to humans with respect to robust object recognition and internal representations?2023

    • Author(s)
      Yoshihara Sou、Fukiage Taiki、Nishida Shin'ya
    • Journal Title

      Frontiers in Psychology

      Volume: 14 Pages: 1-16

    • DOI

      10.3389/fpsyg.2023.1047694

    • Peer Reviewed / Open Access
  • [Presentation] Modeling of Human Motion Perception Mechanism: A Simulation based on Deep Neural Network and Attention Transformer2023

    • Author(s)
      Sun Zitang, Yung-Hao Yang, Shin'ya Nishida
    • Organizer
      Vision Sciences Society
  • [Presentation] Psychophysical measurement of perceived motion flow in naturalistic scenes2022

    • Author(s)
      Yung-Hao Yang; Taiki Fukiage; Shin’ya Nishida
    • Organizer
      Vision Sciences Society
    • Int'l Joint Research
  • [Presentation] 人間の認知情報処理の科学的理解と映像技術の開発2022

    • Author(s)
      西田眞也
    • Organizer
      MIRU2022
    • Invited
  • [Presentation] 現実的な入力に対して動く人間の視覚系のモデルの構築に向けて2022

    • Author(s)
      西田眞也
    • Organizer
      第188回CG・第32回DCC・第231回CVIM合同研究発表会
    • Invited

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi