研究課題/領域番号 |
19K12222
|
研究種目 |
基盤研究(C)
|
配分区分 | 基金 |
応募区分 | 一般 |
審査区分 |
小区分62010:生命、健康および医療情報学関連
|
研究機関 | 芝浦工業大学 |
研究代表者 |
堀江 亮太 芝浦工業大学, 工学部, 教授 (60327690)
|
研究期間 (年度) |
2019-04-01 – 2024-03-31
|
研究課題ステータス |
交付 (2022年度)
|
配分額 *注記 |
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2023年度: 390千円 (直接経費: 300千円、間接経費: 90千円)
2022年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2021年度: 260千円 (直接経費: 200千円、間接経費: 60千円)
2020年度: 260千円 (直接経費: 200千円、間接経費: 60千円)
2019年度: 2,470千円 (直接経費: 1,900千円、間接経費: 570千円)
|
キーワード | 脳波 / 仮想ライブ体験システム / 一体感 / 脳波VRライブ / ブレイン‐コンピュータ・インターフェース |
研究開始時の研究の概要 |
没入型ヘッドマウントディスプレイの登場により、自宅にいながらライブを視聴することが可能となり、ライブ会場の不足やバリアフリー化の遅れの解決が期待されているが、「演者と複数の観客の相互作用から生じる一体感」を実現する手法の確立が必要である。そこで申請者は、複数の視聴者から簡易脳波計で脳波を測定し、精神的な盛り上がりに伴って増加するβ/α比を算出し、β/α比が閾値を超えたときに視覚効果をライブ映像に生成し、生成された視覚効果を視聴者全員が共有して視聴することで、一体感を感じられるライブ体験システムを開発した。本研究では、多人数が同時参加するライブ体験システムを開発し、一体感の実現について調査する。
|
研究実績の概要 |
平成33(令和3)年度の研究実施状況報告書では、50人が脳波で参加する複数人同時参加型仮想ライブ体験システムの開発、複数視聴者のβ/α比の変動の個人差によらず視覚効果を安定に生成する手法(「クライアント型」においてβ/α 比の直近のデータに基づいて視覚効果生成を適応的に調整する手法や、「サーバ型」においてβ/α比上昇タイミングの個人差を緩和する手法)の実現、および、ライブ体験システムに用いる脳波指標の検証を計画した。これらの平成34(令和4)年度の研究計画はおおむね順調に進展した。 50人が脳波で参加する複数人同時参加型仮想ライブ体験システムの開発について、ソーシャルVRサービスにおいて脳波状態を共有するシステム、演者のβ/α比 に基づき視覚効果を生成するシステム、演者と視聴者がβ/α比に基づき視覚効果を生成し共有するシステム、「クライアント型」と「サーバ型」を融合したシステム、および、複合現実を用いたライブ体験システムの開発と検証実験を行った。 複数視聴者のβ/α比の変動の個人差によらず視覚効果を安定に生成する手法について、β/α比の値に基づく視覚効果生成を選択的に調整する手法を実装し、「サーバ型」において時間窓内におけるβ/α比の最大値を視聴者間で平均することでβ/α比上昇タイミングの個人差を緩和する手法の検証を行った。 ライブ体験システムに用いる脳波指標の検証について、楽曲視聴中の脳波のデータベースを用いて、振幅変動を予想する手法、および、額部の単一電極で測定した脳波から感情を推定する手法の開発と検証を行った。 これらの研究成果により、複数人同時参加型仮想ライブ体験システムの多様な実現方法、β/α比の個人差に適応した視覚効果生成の実現、額部で測定した脳波のβ/α比で視覚効果を生成することの有用性が示されたことに意義と重要性がある。
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
「研究実績の概要」に記載した研究内容において、ソーシャルVRサービスにおいて脳波状態を共有するシステムの開発と検証実験(5人×1回)では、視覚効果が発生することでユーザーの体験が向上することが示唆された。演者がβ/α比に基づき視覚効果を生成するシステムの開発と検証実験(3人および6人)、演者と視聴者がβ/α比に基づき視覚効果を生成し共有するシステムの開発と検証実験(演者1人と視聴者3人×2回、演者1人と視聴者4人×2回)およびその予備実験(8人)では、演者と視聴者の脳波に基づく視覚効果を生成することで一体感をはじめとした評価が向上することが示された。「クライアント型」と「サーバ型」を融合したシステムの開発と検証実験(5人×2回)では、視聴者がより他者の存在を感じる可能性が示唆された。複合現実を用いたライブ体験システムの開発と検証実験(12人)では、ライブ視聴の評価が現実空間と綿密に関係することが示唆された。これから、50人が脳波で参加する複数人同時参加型仮想ライブ体験システムを実装するための知見が得られた。 β/α比の値と視覚効果生成の関係を選択的に調整する手法の実装と、「サーバ型」において時間窓内におけるβ/α比の最大値を視聴者間で平均することでβ/α比上昇タイミングの個人差を緩和する手法の検証では、複数視聴者の個人差によらず視覚効果を生成する手法の実現が示された。 楽曲視聴中の脳波の振幅変動を機械学習により予想する手法の検証では、短期間の脳波の振幅変動が予想できることが示唆された。また、額部の単一電極で測定した脳波から楽曲視聴中の感情を推定する手法の検証では、その有効性が示された。 以上の研究成果から、平成34(令和4) 年度までの研究計画はおおむね順調に進展していると言える。
|
今後の研究の推進方策 |
平成33年度までに検証した、複数人同時参加型仮想ライブ体験システムの実現方法、β/α比の個人差に適応した視覚効果の生成手法の知見を用いて、50人がネットワーク通信を介して仮想ライブを体験する実験系の実装を計画している。当初の計画どおり、50人がネットワーク通信を介して仮想ライブを体験する実地検証実験を行い、データの解析により、50人の視聴者間の集団現象を分析し、主観評価により「演者と複数の観客の間に形成される一体感」の実現について調べることを計画している。また、多人数同時参加型仮想ライブ体験システムの数理モデルを用いた分析を計画している。
|