2021 Fiscal Year Annual Research Report
Developing models to simulate information processing and internal representations of human visual motion perception
| Project/Area Number |
20H00603
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
西田 眞也 京都大学, 情報学研究科, 教授 (20396162)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
吹上 大樹 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 研究員 (50869302)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 視覚系シミュレータ / 運動視 / メタマー / 人工神経回路 / 映像メディア技術 |
|---|
| Outline of Annual Research Achievements |
本研究は、おもにモデルの構築とモデルの評価を並行して進めている。
【モデル構築】これまで運動視に関するモデル構築は、おもに分析・構成型のアプローチで進んできた。一方、最近はデータ駆動型のアプローチを用いて、動画から運動フローを推定する人工神経回路を一気通貫(End-to-End)で学習した研究も報告されている。本計画では、これらの先行研究を参考に、分析・統合型とデータ駆動型のアプローチを融合して、運動視処理全体のモデル構築を行う。令和３年度は、視覚物体認識を行う畳み込み神経回路と人間の視覚系の違いがボケ画像に対する学習により小さくなる原因を解明すべく、人工神経回路の分析を行い、ボケ画像の学習がどのような変化を内部表現に生み出すのかを検討した。
【モデル評価のための心理物理実験】任意の動画のある位置あるタイミングの運動ベクトルの知覚を推定する心理物理学的方法を確立した。また、自然映像に近い複雑性 を持ち、かつ物理的なオプティカルフローの正解値が分かっているコンピュータグラフィックスアニメーション(MPI Sintel Optical Flow Dataset)に対してこの方法を適用し、人間が知覚するオプティカルフローを推定した。さらに、その結果を運動エネルギーモデルなどの視覚科学で提案されてきた運動検出モデルや、FlownetやRAFTなどの機械学習を用いた最新のコンピュータビジョンのオプティカルフロー推定アルゴリズムの出力と比較して、人間の運動視のモデルとしての妥当性を検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
人間が知覚するオプティカルフローを推定する方法を確立した。この手法を自然画像に近いSintel Datasetに対してもちいて知覚オプティカルフローの推定に成功した。さらに、知覚オプティカルフローが現存のオプティカルフロー推定モデルでは説明できない点があることを示した。
|
| Strategy for Future Research Activity |
研究を継続し、現有の運動検出モデルと実際の人間の運動視の相違点を明確にする。インターネットによる心理実験への展開を試み、実験室実験では取得できない大量の心理データに基づいて 、人間の知覚オプティカルフローデータベースを整備する。予測符号化の原理に基づいた自己教師学習で人間のような運動検出メカニズムを作ることを試みる。さらに、我々の開発した新しい手法の基づいてさまざまな錯視的な運動視現象を網羅的に検討し、現在の運動視のモデルに欠けているものを明らかにする。
|
