An ERP study on sense of presence with respect to visual realism in virtual environment

2021 Fiscal Year Research-status Report

• Project/Area Number: 20K23347
• Research Institution: Maebashi Institute of Technology
• Principal Investigator: 赤間 章英 前橋工科大学, 工学部, 助教 (00847733)
• Project Period (FY): 2020-09-11 – 2023-03-31
• Keywords: 臨場感 / バーチャルリアリティ / 事象関連電位 / ワーキングメモリ / 質感

Outline of Annual Research Achievements

多岐にわたる分野で活用が期待されている、バーチャルリアリティ技術に関して、現実に忠実な視覚的表現が、自身がその場にいると感じる「臨場感」の向上に影響するかについて意見が対立している。そこで、本研究では、仮想空間に配置する3次元立体の光学特性および幾何特性を変化させることで、現実に忠実な視覚的表現が臨場感に与える影響を、主観評価と記憶課題の行動成績から検討し、記憶課題時の脳は事象関連電位（ERP）から臨場感に影響する認知処理を明らかにすることを目的としている。
令和3年度は、仮想空間内を実際に歩いて回る探索課題と、探索課題時に記憶した3次元立体を答える記憶課題を合わせた本実験を行う計画であった。しかしながら、コロナ蝸にあったため十分な被験者実験を行うことができず、また、母の体調悪化を受け、父と祖母の介護を分担するようになったため計画に遅れが生じてしまった。このため令和3年度は、予備実験を通じて得られた被験者からの意見を精査し、実験環境の刷新に注力した。当初の実験計画では、探索課題時に被験者の身体動作に追従して動く、仮想空間上での被験者の分身であるアバターを用意していなかった。しかし、アバターが無いことで探索課題時に違和感が生じると被験者から報告があったため、男女のアバターデータおよび実空間の被験者の動きを検出するためのトラッキングデバイスを用意し、実空間の被験者の動きをアバターに反映させるよう実験プログラムの変更を行った。また、令和3年度は、頭部全体を22点の電極で覆うことが可能な脳波計を調達することができ、記録した脳波に対して独立成分分析とウェーブレット変換を組み合わせたノイズ除去アルゴリズムで前処理を行うことで、波形を歪める瞬目等の影響を脳波から除外できることを確認した。
今後は、改良した実験プログラムを用いて本実験を行い、研究成果を学会・学術誌で報告する。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

コロナ蝸にあったため、十分な被験者実験を行えなかったことと、親族の介護を分担するようになったため、当初の実験計画から遅れてしまった。しかしながら、実験プロトコルを見直す機会となり、仮想空間内で被験者の身体動作を反映する分身であるアバターを実験プログラムに組み込むことで、仮想空間への没入体験時に生じる違和感を低減させることが可能となった。これにより、本研究の目的である、仮想空間における、現実に忠実な視覚的表現が臨場感に与える影響を検討しやすくなったと考えられる。

Strategy for Future Research Activity

コロナ蝸での実験の制限や親族の介護により当初の研究計画から遅れが生じてしまったが、研究期間を1年延長することで、当初の計画を完遂する。実験プログラムの改良、脳波解析プログラムの改良など、これまでに行ってきた実験準備を活かすことで、計画していた研究の主要部分は実施できると考える。