2022 Fiscal Year Annual Research Report
Developing models to simulate information processing and internal representations of human visual motion perception
| Project/Area Number |
20H00603
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
西田 眞也 京都大学, 情報学研究科, 教授 (20396162)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
吹上 大樹 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 研究員 (50869302)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 視覚系シミュレータ / 運動視 / メタマー / 人工神経回路 / 映像メディア技術 |
|---|
| Outline of Annual Research Achievements |
本研究は、おもにモデルの構築とモデルの評価を並行して進めている。 【モデル構築】これまで運動視に関するモデル構築は、おもに分析・構成型のアプローチで進んできた。一方、最近はデータ駆動型のアプローチを用いて、動画から運動フローを推定する人工神経回路を一気通貫(End-to-End)で学習した研究も報告されている。本計画では、これらの先行研究を参考に、分析・統合型と データ駆動型のアプローチを融合して、運動視処理全体のモデル構築を行う。令和４年度は、CNNの基づくコンピュータビジョンの運動フロー検出モデルが人間の視覚と異なる特性を示すとともに、運動エネルギー検出と自己アテンションメカニズムの二段階からなる運動フロー検出モデルを開発し、生理学的及び心理物理学的特性において、人間の運動視の良いモデルになっていることを示した。また、ロバストな物体認識に対してボケ画像の学習が与える影響を検討した論文を発表した。【モデル評価のための心理物理実験】任意の動画のある位置あるタイミングの運動ベクトルの知覚を推定する心理物理学的方法を、自然映像に近 い複雑性を持ち、かつ物理的なオプティカルフローの正解値が分かっているコンピュータグラフィックスアニメーション(MPI Sintel Optical Flow Dataset)に 対して適用し、人間が知覚するオプティカルフローを推定したデータを測定した、運動エネルギーモデルなどの視覚科学で提案されてきた運動検出モデルや、FlownetやRAFTなどの機械学習を用いた最新のコンピュータビジョンのオプティカルフロー推定アルゴリズムの出力と比較した結果、人間の運動視の特性を部分的にしか説明しないこと、運動情報の統合・分節化や、座標変換のプロセスをモデルに導入する必要があることが明らかとなった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
計画通り、人間が知覚するオプティカルフローを推定する方法を確立し、この手法を自然画像に近いSintel Datasetに対して用いることで知覚オプティカルフローを推定した。人間が知覚するオプティカルフローが現存のオプティカルフロー推定モデルでは説明できない点があることを示した。さらに、DNNと注意機構を使った新しい運動視モデルを開発し、既存のモデルに比べて、人間の特性をよりよく説明できる可能性を示した。
|
| Strategy for Future Research Activity |
クラウドソーシングなどの手法を使って人間の運動フロー知覚データの拡充を図る。さらに、提案したフロー検出モデルの精度を向上させる方法を模索する。とくに、二次運動や遮蔽輪郭が運動統合に与える影響など、高次の運動視機能をモデルで実現することに挑戦する。研究成果をまとめ、国際学会で発表する。
|
