2020 Fiscal Year Research-status Report
Realization of a sense of unity in a virtual live concert system which multiple people attend via electroencephalography
| Project/Area Number |
19K12222
|
|---|
| Research Institution | Shibaura Institute of Technology |
|---|
Principal Investigator |
堀江 亮太 芝浦工業大学, 工学部, 教授 (60327690)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 脳波 / 仮想ライブ体験システム / 一体感 / 脳波VRライブ / ブレイン‐コンピュータ・インターフェース |
|---|
| Outline of Annual Research Achievements |
本研究の当初の計画（「平成31年度(2019年度)基盤研究（Ｃ）（一般）研究計画調書」）では、平成32（令和2）年度の研究計画として、10人が参加するライブ視聴実験の実施（10回を予定）し、脳波データの解析による視聴者のβ/α比に生じる集団現象の分析、主観評価による「演者と複数の観客の間に形成される一体感」の実現の調査を計画していた。平成31（令和元）年度の研究実施状況報告書では、新型コロナウイルス状況の収束とともに実験を実施することとし、当初の計画で平成33（令和3）年度に研究計画としていた、複数視聴者のβ/α比の変動の個人差によらずに視覚効果を安定に生成する有効な手法の開発と、平成34（令和4）年度および平成35（令和5）年度に計画していた、50人が脳波で参加する複数人同時参加型仮想ライブ体験システムの開発の検討を先行して行うことを計画とした。これらの平成32（令和2）年度の研究計画はおおむね順調に進展した。
具体的には、平成31（令和元）年度に、10人が脳波で参加する複数人同時参加型仮想ライブ体験システムを開発した際に得た予備実験のデータを用いて、視聴者のβ/α比に生じる集団現象と主観評価の分析を行った。また、複数視聴者間で視覚効果生成の閾値を調整する手法を検討した。また、50人が脳波で参加する複数人同時参加型仮想ライブ体験システムの開発に向けて、視聴者がオンラインで参加する状況を検討し、その際の通信遅延の影響を低減する方法と、実験で使用する簡易脳波計を検討した。この他に、視聴者だけでなく演者も参加をするライブ体験システムの開発、および、効果的な視覚効果の形と色の検証を行った。
これらの研究成果により、多人数（10人）が脳波で同時参加するライブ体験システムにおける一体感の実現が示唆され、また、本研究で開発するシステムを実応用に向けて改良したことに意義と重要性がある。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成31（令和元）年度は、10人が脳波で参加する複数人同時参加型仮想ライブ体験システムを開発した。平成32（令和2）年度は、平成31（令和元）年度にライブ体験システムを開発した際に得た予備実験のデータを用いて以下の分析を行った。
まず、視聴者のβ/α比に生じる集団現象と主観評価の分析を行った。具体的には、β/α比に生じる集団現象の分析として、β/α比の個人、実験集団、実験条件による差、β/α比の楽曲構造を反映した時間的変動、クライアント型において楽曲構造の一部でβ/α比が集団的に減少する現象、一体感などの主観評価、の分析を行った。また、β/α比に対する時系列データの因果関係分析を検討した。
また、数視聴者のβ/α比の変動の個人差によらずに視覚効果を安定に生成する有効な手法として、「クライアント型」を含むライブシステムにおいて、複数視聴者間で視覚効果生成の閾値を調整する手法を検討した。具体的には、β/α比の直近のデータに基づいて視覚効果生成に用いるβ/α比の閾値を適応的に調整する手法を考案し、検証した。さらに、楽曲進行などに伴う感情曲線に基づいて視覚効果生成に用いる閾値を調整する手法を考案し、検証した。
また、50人が脳波で参加する複数人同時参加型仮想ライブ体験システムの開発に向けて、視聴者がオンラインで参加する状況を検討し、その際に通信遅延の影響を低減する方法を検討した。具体的には、リカレントニューラルネットワークを用いてβ/α比の変化を予測する手法を考案し、検証した。また、50人の実験で使用する簡易脳波計を検討した。
この他に、視聴者だけでなく演者も参加をするライブ体験システムの開発、および、効果的な視覚効果の形や色の検証を行った。
以上の研究成果から、平成32（令和2）年度までの研究計画はおおむね順調に進展していると言える。
|
| Strategy for Future Research Activity |
当初の計画（「平成31年度(2019年度)基盤研究（Ｃ）（一般）研究計画調書」）では、平成33（令和3）年度の研究計画として、複数視聴者のβ/α比の変動の個人差によらず、視覚効果を安定に生成する有効な手法を開発、検証を計画している。具体的には、「クライアント型」では、複数視聴者間で視覚効果生成の閾値を調整する手法、「サーバ型」では、各視聴者のβ/α比の時間窓内での最大値を（瞬時 値の代わりに）用いる手法の検討し、視覚効果生成の安定性を、数理モデルで予測をした後に、10人が脳波で参加するライブ視聴実験を実施し、検証する（10回を予定）ことを計画した。
複数視聴者のβ/α比の変動の個人差によらず、視覚効果を安定に生成する有効な手法を開発のうち、「クライアント型」において複数視聴者間で視覚効果生成の閾値を調整する手法は、平成32（令和2）年度に予備実験のデータを用いて検討した。平成33（令和3）年度は、「サーバ型」における手法の開発を行う。
新型コロナウイルス状況の収束とともに、実験実施が可能となったら、平成32（令和2）年度に計画していた10人が参加するライブ視聴実験、および、複数視聴者のβ/α比の変動の個人差によらず視覚効果を安定に生成する有効な手法の検証実験の実施を行う。
ただし、新型コロナウイルス状況の収束は、現在においても見通しが立っていないため、平成34（令和4）年度および平成35（令和5）年度に計画している50人が脳波で参加する複数人同時参加型仮想ライブ体験システムの開発を先行し、視聴者がオンラインで参加するライブ体験システムを開発する。新型コロナウイルスの収束状況によっては、上記の視聴実験や検証実験をオンラインで実施することも検討する。
|
| Causes of Carryover |
平成32（令和2）年度には、10人が参加するライブ視聴実験の実施（10回を予定）のための被験者謝礼と、国際会議に参加をする旅費を計画したが、新型コロナウイルス状況が収束しないことから、10人が参加するライブ視聴実験の実施は行わず、実験実施における被験者謝礼の支払いは執行しなかった。また、国際会議参加による旅費の支払いの執行は無かった。いっぽうで、10人が参加するライブ視聴実験の実施に備えて、実験で使用する使い捨て電極を購入し、また、平成34（令和4）年度および平成35（令和5）年度に計画している50人が脳波で参加する複数人同時参加型仮想ライブ体験システムの開発の検討を先行したため、50人の実験で使用する簡易脳波計を一部購入した。これらにより、次年度使用予算が生じた。
平成33（令和3）年度は、「今後の研究の推進方策」で上記したように、新型コロナウイルスの収束状況に応じて、10人が参加するライブ視聴実験の実施、複数視聴者間で視覚効果生成の閾値を調整する手法の検証実験の実施、50人が脳波で参加する複数人同時参加型仮想ライブ体験システムの開発、オンラインで参加するライブ体験システムの開発や実験実施に、研究費の使用を予定する。また、研究成果発表に研究費の使用を予定する。
|
| Remarks |
令和2年度までの研究成果を、国際学術誌に1件投稿し査読中である。また、研究代表者が指導教員をした芝浦工業大学工学部通信工学科2020年度卒業研究６件に記載している。成果は今後に学術発表を予定する。また、1件のセミナーで発表した。堀江亮太、「「生体情報で世界をつなげるライブ」の実現を目指して」、港区×芝浦工業大学オープンイノベーション創出セミナー・交流会2020（2020年11月 27日）。
|
