Realization of a sense of unity in a virtual live concert system which multiple people attend via electroencephalography

2019 Fiscal Year Research-status Report

• Project/Area Number: 19K12222
• Research Institution: Shibaura Institute of Technology
• Principal Investigator: 堀江 亮太 芝浦工業大学, 工学部, 准教授 (60327690)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Keywords: 脳波 / 仮想ライブ体験システム / 一体感 / 脳波VRライブ / ブレイン‐コンピュータ・インターフェース

Outline of Annual Research Achievements

本研究の当初の計画（「平成31年度(2019年度)基盤研究（Ｃ）（一般）研究計画調書」）では、平成31（令和元）年度の研究計画として、10人が脳波で参加する複数人同時参加型仮想ライブ体験システムの開発を計画した。平成31（令和元）年度の研究計画はおおむね順調に進展している。
具体的には、研究代表者らは、3人一組が脳波で参加する仮想ライブ体験システムを開発していたが（小林、堀江2018）、その実装では、視覚効果を発生させる機能の実装から、発生させられる視覚効果の種類に限りがあるため、同時視聴人数が限定されていたのに対して、平成31（令和元）年度は、このシステムを拡張し、旧システムから実装を一新し、10人が脳波で参加する複数人同時参加型仮想ライブ体験システムを開発した。完成したシステムの動作確認実験を実施し、システムが問題無く動作することを確認した。これにより、参加者の脳波の集団的振る舞いが調べられる、10人が参加する複数人同時参加型仮想ライブ体験システムの実験実施が可能となった。
さらに、開発したシステムは、研究代表者らが提案する「クライアント型」や「サーバ型」といった各種のライブ構造（堀江、小林2018）を柔軟に実現し、また、当初の計画で、平成33（令和3）年度に計画している、視覚効果を安定に生成する手法の開発や、平成34（令和4）年度および平成35（令和5）年度に計画をしている50人が脳波で参加する複数人同時参加型仮想ライブ体験システムの開発にも、汎用的に拡張できるものである。なお、この汎用的な拡張性の応用として、平成31（令和元）年度には、脳波で参加する仮想ライブ体験システムと多極脳波計との同時計測実験系や、仮想ライブ体験システムにおける観客の視点の導入を開発し、実現可能であることを検証、確認した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

平成31（令和元）年度は、10人が脳波で参加する複数人同時参加型仮想ライブ体験システムを開発した。完成したシステムの動作確認実験を実施し、システムが問題無く動作することを確認した。「研究実績の概要」に上記したように、開発したシステムは、旧システム（小林、堀江2018）から、実装を一新し、汎用的な拡張性を持つ。以下に開発したシステムの詳細を述べる。
開発したシステムは、簡易脳波計およびVRヘッドマウントディスプレイ（HMD）、クライアントPCをそれぞれユーザ数である10人分と、加えて、1台のサーバPCで構成される。ユーザは簡易脳波計とHMDを同時に装着し、仮想ライブ体験プログラムにて、仮想ライブ映像を視聴する。簡易脳波計で計測された脳波信号は、クライアントPC上のβ/α比算出プログラムにBluetoothを用いて送信される。β/α比算出プログラムは、受信した脳波信号をもとにβ/α比を算出し、同PC上のクライアント用データ処理プログラムにTCP/IPで送信する。クライアント用データ処理プログラムでは、受信したβ/α比に対応する視覚効果生成コマンドを算出する。その後、算出された視覚効果生成コマンドは、β/α比とともに、サーバPC上のサーバ用データ処理プログラムにTCP/IPで送信される。サーバ用データ処理プログラムは、受信したデータを同PC上のサーバ用ライブプログラムにTCP/IPで送信する。サーバ用ライブプログラムでは、受信したデータから視覚効果生成コマンドを判別し、そのコマンドに対応する視覚効果生成命令を、全クライアントPC上のライブプログラムに一斉送信する。命令を受信した全PC上のライブプログラムは直ちに視覚効果を生成し、仮想ライブ映像に反映する。以上の処理より、ユーザの脳波情報に基づいて生成された視覚効果を、全ユーザに共有することができる。

Strategy for Future Research Activity

当初の計画（「平成31年度(2019年度)基盤研究（Ｃ）（一般）研究計画調書」）では、平成32（令和2）年度の研究計画として、10人が脳波で参加する複数人同時参加型仮想ライブ体験システムにおける一体感の調査を計画している。具体的には、10人が参加するライブ視聴実験を実施し（10回を予定）、脳波データの解析により、10人の視聴者のβ/α比に生じる集団現象を分析し、主観評価により「演者と複数の観客の間に形成される一体感」の実現について調べる計画である。平成31（令和元）年度の研究成果として、当初の計画通り、10人が参加できるシステムが開発され、実験実施は可能である。
しかし、新型コロナウイルス状況下において、10人が参加するライブ視聴実験を実施することは、現在のところ可否の見通しが立っていない。そこで、新型コロナウイルス状況の収束とともに、実験実施が可能となったら実験を実施する。
また、当初の計画では、平成33（令和3）年度の研究計画としていた、視覚効果を安定に生成する手法の開発の一部を先行して実施する。具体的には、「クライアント型」における、複数視聴者間で視覚効果生成の閾値を調整する手法を、検討する。また、平成34（令和4）年度および平成35（令和5）年度に計画している50人が脳波で参加する複数人同時参加型仮想ライブ体験システムの開発について検討を開始する。

Causes of Carryover

平成31（令和元）年度に10人が脳波で参加する複数人同時参加型仮想ライブ体験システムを開発するにあたって、システムを構成する機器の選定を、最新状況を踏まえて再検討し、ヘッドマウントディスプレイとゲーミングノートPCを、当初の計画で予定した機器から変更した。ヘッドマウントディスプレイは、当初購入をしていたサラウンドヘッ ドセットを内蔵したものを購入し、ゲーミングノートPCはヘッドマウントディスプレイに合わせて選定をした。想定価格の変化があったため、本研究予算で購入した機器に、研究室の予算で購入した機器を加えて、10人が脳波で参加する複数人同時参加型仮想ライブ体験システムを実現し、その際に次年度使用予算が生じた。
次年度使用予算は、「今後の研究の推進方策」で上記した、視覚効果を安定に生成する手法の開発や、50人が脳波で参加する複数人同時参加型仮想ライブ体験システムの開発の検討に使用する予定である。

Remarks

平成31（令和元）年度の研究成果を、2019年度3月修了者芝浦工業大学大学院理工学研究科修士論文、小林将平（指導教員：堀江亮太）、「脳波を用いた多人数同時参加型仮想現実ライブ体験システムの開発」に記載している。