2021 Fiscal Year Research-status Report
Realization of a sense of unity in a virtual live concert system which multiple people attend via electroencephalography
| Project/Area Number |
19K12222
|
|---|
| Research Institution | Shibaura Institute of Technology |
|---|
Principal Investigator |
堀江 亮太 芝浦工業大学, 工学部, 教授 (60327690)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 脳波 / 仮想ライブ体験システム / 一体感 / 脳波VRライブ / ブレイン‐コンピュータ・インターフェース |
|---|
| Outline of Annual Research Achievements |
平成32（令和2）年度の研究実施状況報告書では、研究進捗を反映し、当初の計画を修正し、平成33（令和3）年度の研究計画として、複数視聴者のβ/α比の変動の個人差によらず視覚効果を安定に生成する有効な手法の開発のうち、「サーバ型」における手法の開発を計画した。また、新型コロナウイルス状況の収束に応じて、実験実施が可能となれば、平成32年度に計画していた10人が参加するライブ視聴実験、および、上記の視覚効果を安定に生成する有効な手法の検証実験を行うことを計画した。また、実験実施が難しいときは、平成34（令和4）年度以降に予定した50人が参加するライブ体験システムの開発の先行や、視聴者がオンラインで参加するライブ体験システムの開発を計画した。これらの平成33年度の研究計画はおおむね順調に進展した。
具体的には、視覚効果を安定に生成する有効な手法について、「クライアント型」における手法（平成32年度に考案）の実装と検証実験、「サーバ型」における手法の考案、実装、検証実験を行った。また、楽曲進行などに伴う感情曲線に基づいて視覚効果生成に用いる閾値を調整する手法（平成32年度に考案）の「サーバ型」における実装と検証実験、β/α比による視覚効果生成の体感への通信遅延による影響の検証実験、ライブ体験システムをオンラインで視聴する検証実験を行った。この他に、演者のβ/α比による視覚効果生成の検証実験、複合現実を用いたライブ視聴に適した視聴環境の評価実験を行った。なお、新型コロナウイルス状況は平成33年度においても完全に収束しなかったため、10人が参加するライブ視聴実験は実施せず、上記の検証実験は人数を限定して行った。
これらの研究成果は、考案した視覚効果を安定に生成する手法の有効性が示されたこと、50人が参加するライブ体験システムの開発に向けて有用な知見が得られたことに、意義と重要性がある。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成31年度、平成32年度の研究進捗に続き、平成33年度は、個人差によらずに視覚効果を安定に生成する有効な手法の検証実験までを行った。「クライアント型」では、β/α比の直近のデータに基づいて視覚効果生成に用いるβ/α比の閾値を適応的に調整する手法の検証実験を行い、調整手法を用いない場合に比べ、安定して多くの視覚効果が生成される傾向が示された。「サーバ型」では時間窓内におけるβ/α比の最大値を視聴者間で平均することでβ/α比上昇タイミングの個人差を緩和する手法の考案、実装、検証実験を行い、提案手法が視覚効果の生成回数を増加させる可能性が示された。また、楽曲進行などに伴う感情曲線に基づいて視覚効果生成に用いる閾値を調整する手法について、「サーバ型」における実装と検証実験を行い、楽曲の進行に伴って視覚効果の生成頻度を制御できる可能性が示された。また、β/α比による視覚効果生成の体感への通信遅延による影響の検証実験を行い、最大１秒までに分布する通信遅延を伴い視覚効果が生成されるライブ視聴では、通信遅延を伴わないライブ視聴と比べ、視聴者は視覚効果の生成に違和感を覚えるが、ライブの楽しさには影響がない可能性が示された。また、ライブ体験システムをオンラインで視聴する検証実験を行い、オンラインでのライブ視聴実験の実装と実施方法の検討を行った。この他に、演者のβ/α比による視覚効果生成の検証実験を行い、演者は視覚効果の生成を見ることによりβ/α比が低下する可能性が示された。また、複合現実を用いたライブ視聴に適した視聴環境の評価実験を行い、視聴者の場所は暗く、演者の場所は明るい状況が適していることが示唆された。以上の研究成果から、平成33（令和3）年度までの研究計画はおおむね順調に進展していると言える。
|
| Strategy for Future Research Activity |
当初の計画どおり、50人が脳波で参加する複数人同時参加型仮想ライブ体験システムの開発を計画している。具体的には、実応用に向けて、（平成33年度までに開発した）複数視聴者のβ/α比の変動の個人差によらず視覚効果を安定に生成する手法を用いて、インターネットを介して50人が参加できるシステムの開発を計画している。複数視聴者のβ/α比の変動の個人差によらず視覚効果を安定に生成する手法としては、平成33年度に検証実験までを行った、「クライアント型」においてβ/α比の直近のデータに基づいて視覚効果生成に用いるβ/α比の閾値を適応的に調整する手法や、「サーバ型」において時間窓内におけるβ/α比の最大値を視聴者間で平均することでβ/α比上昇タイミングの個人差を緩和する手法の使用を検討してる。またこの他に、ライブ体験システムに用いる脳波指標の検証を行う。
|
| Causes of Carryover |
平成33（令和3）年度には、10人が参加するライブ視聴実験の実施（10回を予定）のための被験者謝礼と、国際会議に参加をする旅費を計画したが、新型コロナウイルス状況が収束しないことから、10人が参加するライブ視聴実験の実施は行わず、また、実施した実験において被験者謝礼の支払いは執行しなかった。また、国際会議参加による旅費の支払いの執行は無かった。いっぽうで、発表した論文の査読において指定された英語論文校閲を行った。これらにより、次年度使用予算が生じた。平成34（令和4）年度は、「今後の研究の推進方策」で上記した50人が脳波で参加する複数人同時参加型仮想ライブ体験システムの開発、および、国際会議参加等の研究成果発表に研究費の使用を予定する。
|
| Remarks |
平成33年度の研究成果は、上記研究発表に加え、研究代表者が指導した卒業研究5件に記載した。また、本研究について、1件のセミナーで発表し（堀江亮太、芝浦工業大学公開講座、2022年3月5日）、１件の取材を受けた（Unity Japan、「未来のエンタメは「脳波×ゲームエンジン」が変える!?（BCI研究者・堀江亮太さんインタビュー）」、Unity Japan - note、2022年4月14日）。
|
