2021 Fiscal Year Research-status Report
近未来型VRライブ配信環境におけるコミュニケーション支援システムの開発
| Project/Area Number |
20K11794
|
|---|
| Research Institution | Iwate Prefectural University |
|---|
Principal Investigator |
齊藤 義仰 岩手県立大学, ソフトウェア情報学部, 准教授 (80468115)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 360度インターネット生放送 / 放送者支援 |
|---|
| Outline of Annual Research Achievements |
360度インターネット生放送において，視聴者の視聴方向（Point Of View: POV）の情報や視聴者の興味情報を用いて，放送者を支援することで，コミュニケーションを円滑化する方法について取り組んだ．具体的には，専用デバイスを用いる方法とMixed Reality（MR）を用いる方法という異なる2つのアプローチで研究を行った．
専用デバイスのプロトタイプとして，(1)振動によって方向を伝えるベルト型デバイス，(2)LEDの点滅で方向を提示する円筒型デバイス，(3)小型ロボットの頭部の動きで方向を提示するロボット型デバイスを実装した．実装したプロトタイプを用いて比較評価を行った結果，ベルト型デバイスとロボット型デバイスの評価値が高かった一方で，円筒型デバイスの評価値が低かった．また，ロボット型デバイスについては，放送者がデバイスに対して親しみを感じたという意見を得ることができた．この結果は，ロボット型デバイスの狙いであるコミュニケーションの活性化につながるものであり，放送者がロボット型デバイスに良い印象を抱いていることがわかった．専用デバイスとしては，ロボットエージェントのような提示手法が望ましいと考えられる．
MRを用いる方法としては，現実空間上に視聴者からのスタンプを表示することで視聴者の興味情報を伝える，MRスタンプに関する研究を行った．Hololens 2を通してMRスタンプを表示することで，放送者は直感的にスタンプの位置を把握することが容易になった．また，空間音響とMRを用いることで，視聴者の提示するものや場所の発見しやすさに有意な差が見られることが明らかになった．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究では，放送者と視聴者の円滑なコミュニケーションを支援する「バーチャルAD（アシスタントディレクター）」の実現を目指している．バーチャルADは，視聴者の視聴方向を分析し，興味を集めている方向や興味の移り変わりを，放送者に対して提示する機能である．
今年度は，放送者への有効な提示方法を検討するため，専用デバイスによるアプローチとMRによるアプローチを実装し，有効性を検証した．専用デバイスとしてはロボットエージェントような形態がバーチャルADとして相応しいのではないかという結果が得られた．また，MRによるアプローチに関しては，MRスタンプという実現方法ではあるが，現実空間上に視聴者の興味を提示することで，放送者支援が可能であるということを示すことができた．よって，MRを用いてバーチャルADを実装することができれば，より高度な放送者支援が可能になると考えられる．
一方で，新型コロナウイルスの影響で，研究開発の進捗や成果発表に若干の遅れが生じている．
|
| Strategy for Future Research Activity |
今後は，MRを用いたバーチャルAD開発を進めていく予定である．
まずは，バーチャルADの基本機能として，視聴者のPOVをMR空間上で把握できるようにする予定である．視聴者のPOVをMR空間上で把握できるようにするため，Hololens 2を用いて，全方位カメラを中心としたマーカとして放送者に提示するPOVマーカの実装を行う．
また，それを発展させ，視聴者のPOVを分析した結果をMRデバイスを通して放送者に提示して支援する手法について検討を進める．初年度に行った興味推定プロトコルをMRに適用した場合に生じる課題について明らかにする．そして，MRに対応した形で視聴者の興味推定を行い，提示する方法を検討することでバーチャルAD実現を目指す．
|
| Causes of Carryover |
新型コロナウイルスの影響により，実験の規模縮小や研究会発表の取りやめがあり，国際会議もオンライン発表になったことにより，旅費およびその他の使用額等が減ったため．
2022年度も新型コロナウイルスの影響があることが予想されることから，開発環境を充実させることに用いることで，研究活動の加速を図る．
|
