2023 Fiscal Year Annual Research Report
Developing models to simulate information processing and internal representations of human visual motion perception
| Project/Area Number |
20H00603
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
西田 眞也 京都大学, 情報学研究科, 教授 (20396162)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
吹上 大樹 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 研究員 (50869302)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 視覚系シミュレータ / 運動視 / メタマー / 人工神経回路 / 映像メディア技術 |
|---|
| Outline of Annual Research Achievements |
【モデル構築】人工神経回路による機械学習に基づいたコンピュータビジョンの運動フロー検出モデルが人間の視覚運動知覚と異なる特性を示すことを示し、国際学会CCN2023で発表した。運動エネルギー検出と自己アテンションメカニズムの二段階からなる運動フロー検出モデルが、生理学的及び心理物理学的特性において人間の運動視の良いモデルになっていることを示し、その結果を国際会議VSS2023およびNeurIPS2023にて発表した。さらに、光沢物体や透明物体の動きの推定から二次運動の知覚能力が学習可能であることを見出し、国際会議VSS2024にて発表予定である。
【モデル評価のための心理物理実験】任意の動画のある位置あるタイミングの運動ベクトルの知覚を推定する心理物理学的方法を、自然映像に近 い複雑性を持ち、かつ物理的なオプティカルフローの正解値が分かっているコンピュータグラフィックスアニメーション(MPI Sintel Optical Flow Dataset)に対して適用し、人間が知覚するオプティカルフローを推定したデータを測定し、FlownetやRAFTなどの機械学習を用いた最新のコンピュータビジョンのオプティカルフロー推定アルゴリズムの出力と比較した。その結果、人間の運動視の特性を部分的にしか説明しないこと、運動情報の統合・分節化や、座標変換のプロセスをモデルに導入する必要があることを明らかにし、国際会議VSS2023および国際誌iScienceにてその結果を発表した。さらに、運動推定の時間窓が100ms程度であることを明らかにするとともに、クラウドソーシングで知覚運動フローデータを収集する方法も確立した。そのほか、視覚メカニズム全般のモデル化に向け、視覚的分節化の時間特性や両眼立体視における空間周波数相互作用の特性、画像の自然さの特性を解明した。
|
| Research Progress Status |
令和5年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和5年度が最終年度であるため、記入しない。
|
