VR環境下におけるヒト3D視覚特徴抽出機構の解明とその応用

2023 Fiscal Year Annual Research Report

• Project/Area Number: 21H00968
• Allocation Type: Single-year Grants
• Research Institution: National Institute of Information and Communications Technology
• Principal Investigator: 番 浩志 国立研究開発法人情報通信研究機構, 未来ICT研究所脳情報通信融合研究センター, 主任研究員 (00467391)
• Project Period (FY): 2021-04-01 – 2025-03-31
• Keywords: 視覚心理学 / VR / 立体視 / 脳機能イメージング / fMRI / 視差エネルギーモデル / 3D / ニューラルネットワーク

Outline of Annual Research Achievements

本年度は、VR視環境、特に3D(立体視)環境における視覚情報処理機構をfMRI脳機能イメージング法を用いて調べる研究を実施し、昨年度から継続して開発していた深層ニューラルネットワークによるモデリング手法を適用した。立体視の最も重要な手がかりである両眼視差は、初期視覚野V1ですでに処理が始まることが知られており、特に、電気生理学的手法を用いた研究で提案された初期視覚野の「視差エネルギーモデル」は、両眼視差に応答するニューロンの活動をほぼモデル通りに予測し、その美しさから立体視の機能の多くが両眼視差モデルのみで説明されている。一方、両眼視差に応答するニューロンはV1以降も広く視覚皮質に存在するが、それらのニューロンの真の働きはまだ解明されておらず、個別のモデルはいくつか提案されているものの、その働きをうまく統合的に説明するモデルはこれまで提案されていなかった。今年度、私たちは奥行き反転錯視と呼ばれる視覚刺激に対するfMRI脳活動と深層ニューラルネットワークの出力とを比較検討することで、注目部位近傍のみでなく、視覚刺激全体の文脈を考慮した畳み込みによる計算によって、刺激の物理的特性が順に知覚内容へと変換されていく過程を発見した。この成果につながる知見の一部は昨年度にすでにつかんでいたが、本年度はニューラルネットワークの処理過程をより丁寧に調べる手法を導入したことにより、さらに進んだ知見の獲得へとつながった。現在、本成果に関する論文を執筆中である。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

データの取得および解析はほぼ終了しているため、立体視に関する脳機能イメージング研究は数本の論文に近々論文として発表できると考えられ、計画は順調に進展しているといえる。一方、当初より実験の実施を予定しているVR空間における人の立体情報処理の空間範囲の限界を調べる心理行動実験については、実験系は完成しているものの、まだパイロット実験の段階である。そのため、来年度はこの研究を重点的に実施したい。

Strategy for Future Research Activity

今後は本年度の成果を論文化するとともに、我々が論文化を進めるモデルが、立体視に関する他の知覚特性の説明にも拡張できるか否かを調べたい。例えば、初期視覚野V1ですでに両眼視差情報の処理が始まっているが、V1は「相対」視差を検出できないことが知られている。一方、高次の背側視覚野では相対視差をうまく処理して奥行き知覚の精度を上げていることが知られている。こうした特性に関しても我々のモデルで説明が可能かを検討したい。また、得られた知見をVR空間の人の知覚特性の理解に応用したい。来年度以降はそのための実験系の構築と実際のデータ取得を実施する予定である。