2022 Fiscal Year Research-status Report
Realization of a sense of unity in a virtual live concert system which multiple people attend via electroencephalography
| Project/Area Number |
19K12222
|
|---|
| Research Institution | Shibaura Institute of Technology |
|---|
Principal Investigator |
堀江 亮太 芝浦工業大学, 工学部, 教授 (60327690)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 脳波 / 仮想ライブ体験システム / 一体感 / 脳波VRライブ / ブレイン‐コンピュータ・インターフェース |
|---|
| Outline of Annual Research Achievements |
平成33（令和3）年度の研究実施状況報告書では、50人が脳波で参加する複数人同時参加型仮想ライブ体験システムの開発、複数視聴者のβ/α比の変動の個人差によらず視覚効果を安定に生成する手法（「クライアント型」においてβ/α 比の直近のデータに基づいて視覚効果生成を適応的に調整する手法や、「サーバ型」においてβ/α比上昇タイミングの個人差を緩和する手法）の実現、および、ライブ体験システムに用いる脳波指標の検証を計画した。これらの平成34（令和4）年度の研究計画はおおむね順調に進展した。
50人が脳波で参加する複数人同時参加型仮想ライブ体験システムの開発について、ソーシャルVRサービスにおいて脳波状態を共有するシステム、演者のβ/α比 に基づき視覚効果を生成するシステム、演者と視聴者がβ/α比に基づき視覚効果を生成し共有するシステム、「クライアント型」と「サーバ型」を融合したシステム、および、複合現実を用いたライブ体験システムの開発と検証実験を行った。
複数視聴者のβ/α比の変動の個人差によらず視覚効果を安定に生成する手法について、β/α比の値に基づく視覚効果生成を選択的に調整する手法を実装し、「サーバ型」において時間窓内におけるβ/α比の最大値を視聴者間で平均することでβ/α比上昇タイミングの個人差を緩和する手法の検証を行った。
ライブ体験システムに用いる脳波指標の検証について、楽曲視聴中の脳波のデータベースを用いて、振幅変動を予想する手法、および、額部の単一電極で測定した脳波から感情を推定する手法の開発と検証を行った。
これらの研究成果により、複数人同時参加型仮想ライブ体験システムの多様な実現方法、β/α比の個人差に適応した視覚効果生成の実現、額部で測定した脳波のβ/α比で視覚効果を生成することの有用性が示されたことに意義と重要性がある。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
「研究実績の概要」に記載した研究内容において、ソーシャルVRサービスにおいて脳波状態を共有するシステムの開発と検証実験（5人×1回）では、視覚効果が発生することでユーザーの体験が向上することが示唆された。演者がβ/α比に基づき視覚効果を生成するシステムの開発と検証実験（3人および6人）、演者と視聴者がβ/α比に基づき視覚効果を生成し共有するシステムの開発と検証実験（演者1人と視聴者3人×2回、演者1人と視聴者4人×2回）およびその予備実験（8人）では、演者と視聴者の脳波に基づく視覚効果を生成することで一体感をはじめとした評価が向上することが示された。「クライアント型」と「サーバ型」を融合したシステムの開発と検証実験（5人×2回）では、視聴者がより他者の存在を感じる可能性が示唆された。複合現実を用いたライブ体験システムの開発と検証実験（12人）では、ライブ視聴の評価が現実空間と綿密に関係することが示唆された。これから、50人が脳波で参加する複数人同時参加型仮想ライブ体験システムを実装するための知見が得られた。
β/α比の値と視覚効果生成の関係を選択的に調整する手法の実装と、「サーバ型」において時間窓内におけるβ/α比の最大値を視聴者間で平均することでβ/α比上昇タイミングの個人差を緩和する手法の検証では、複数視聴者の個人差によらず視覚効果を生成する手法の実現が示された。
楽曲視聴中の脳波の振幅変動を機械学習により予想する手法の検証では、短期間の脳波の振幅変動が予想できることが示唆された。また、額部の単一電極で測定した脳波から楽曲視聴中の感情を推定する手法の検証では、その有効性が示された。
以上の研究成果から、平成34（令和4） 年度までの研究計画はおおむね順調に進展していると言える。
|
| Strategy for Future Research Activity |
平成33年度までに検証した、複数人同時参加型仮想ライブ体験システムの実現方法、β/α比の個人差に適応した視覚効果の生成手法の知見を用いて、50人がネットワーク通信を介して仮想ライブを体験する実験系の実装を計画している。当初の計画どおり、50人がネットワーク通信を介して仮想ライブを体験する実地検証実験を行い、データの解析により、50人の視聴者間の集団現象を分析し、主観評価により「演者と複数の観客の間に形成される一体感」の実現について調べることを計画している。また、多人数同時参加型仮想ライブ体験システムの数理モデルを用いた分析を計画している。
|
| Causes of Carryover |
平成34（令和4）年度には、50人が参加するライブ視聴実験の実験系を実装するための簡易脳波計とヘッドマウントディスプレイの消耗品費を計画したが、「平成31年度 (2019年度) 基盤研究（Ｃ）（一般）研究計画調書」の研究計画を立てた当初と異なり、ヘッドマウントディスプレイの価格が高騰しため、購入はせず、50人が参加するライブ視聴実験の実験系を実装するための多様なシステム構成を検討した。平成35（令和5）年度には、50人が脳波で参加する複数人同時参加型仮想ライブ体験システムの実装と実験実施に、研究費の使用を予定する。
|
| Remarks |
平成34年度の研究成果は、上記研究発表に加え、研究代表者が指導した博士論文研究1件、修士論文研究2件、卒業研究4件に記載した。また、本研究を研究代表者の本務先大学の広報動画1件で紹介し，パネルディスカッション1件（バーチャル学会2022，オーガナイズドセッション「VR×ニューロテック」）と解説論文1件（電気学会論文誌Ｃ，2023 年 143 巻 4 号 p. 379-382）でごく簡単に紹介した。
|
