2022 Fiscal Year Research-status Report
近未来型VRライブ配信環境におけるコミュニケーション支援システムの開発
| Project/Area Number |
20K11794
|
|---|
| Research Institution | Iwate Prefectural University |
|---|
Principal Investigator |
齊藤 義仰 岩手県立大学, ソフトウェア情報学部, 准教授 (80468115)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 360度インターネット生放送 / Mixed Reality / 放送者支援 |
|---|
| Outline of Annual Research Achievements |
360度インターネット生放送において，視聴者の視聴方向（Point Of View: POV）の情報や視聴者の興味情報を用いて，放送者を支援することで，コミュニケーションを円滑化する方法について取り組んだ．具体的には，Mixed Reality（MR）技術を応用して研究を行った．
視聴者のPOVを放送者に提示して支援する手法として，MR技術を用いて視聴者のPOVを可視化し，直感的にPOVを把握可能にする手法を提案した．提案手法では，視聴者が視聴している方向にMRを用いたマーカを表示させることで，コミュニケーションエラーを減らす．また，MRデバイスを用いて，視聴者のPOVを示すマーカを現実空間上に重畳表示することにより，放送者の応答までかかる時間を短くする効果が期待できる．本研究では，1)MRデバイス（HoloLens 2）を用いて，全方位カメラを中心として視聴者のPOVを示すマーカを，現実空間上に重畳表示して可視化するプロトタイプシステムを開発した．2)プロトタイプシステムを用いた評価により，提案手法は，放送者の応答時間を短くすることができることを明らかにした．3)さらに，視聴者のPOVを示すマーカの表示方法によって，放送者支援の性能に差が生じることを明らかにした．
視聴者の興味情報を放送者に提示して支援する手法として，MR技術を用いて視聴者からのスタンプを表示する，MRスタンプに関する研究を行った．プロトタイプシステムを，我々がこれまで開発してきたMR技術を使わない2Dスタンプを改良して実装した．プロトタイプシステムを用いた評価の結果，2Dスタンプと比べてMRスタンプは，空間オーディオと組み合わせることにより，スタンプが指し示す物体を把握するまでの時間を短くし，間違える確率を下げることができることがわかった．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究では，放送者と視聴者の円滑なコミュニケーションを支援する「バーチャルAD（アシスタントディレクター）」の実現を目指している．バーチャルADは，視聴者の視聴方向を分析し，興味を集めている方向や興味の移り変わりを，放送者に対して提示する機能である．
今年度は，MR技術を用いたアプローチに注力し，有効性を検証した．MRマーカとMRスタンプを実装し，現実空間上に視聴者のPOVや興味を提示することで，放送者支援をより容易に実現可能であるということを示すことができた．よって，MRを用いてバーチャルADに必要な様々な機能を実装することができれば，より高度な放送者支援が可能になると考えられる．
一方で，新型コロナウイルスの影響で，研究開発の進捗や成果発表に若干の遅れが生じている．
|
| Strategy for Future Research Activity |
今後は，MRを用いたバーチャルADに必要な技術をさらに開発していく予定である．
今年度開発したPOVマーカは視聴者の人数が増えてくると把握しにくくなるという問題がある．この問題を解決するため，視聴者のPOVの集まり度合いをMR空間上にリアルタイムでヒートマップ表示する．視聴者が増えてきても，放送者が多くの視聴者がどこを見ているのかを容易に把握できるようにする．
|
| Causes of Carryover |
新型コロナウイルスの影響により，実験の規模縮小や研究発表の取りやめがあり，国際会議もオンライン発表になったことにより，旅費およびその他の使用額等が減ったため．
2023年度は新型コロナウイルスの規制が緩和されるため，開発・実験および研究発表等の研究活動の加速を図る．
|
