2020 Fiscal Year Research-status Report
近未来型VRライブ配信環境におけるコミュニケーション支援システムの開発
| Project/Area Number |
20K11794
|
|---|
| Research Institution | Iwate Prefectural University |
|---|
Principal Investigator |
齊藤 義仰 岩手県立大学, ソフトウェア情報学部, 准教授 (80468115)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 360度インターネット生放送 / 放送者支援 |
|---|
| Outline of Annual Research Achievements |
360度インターネット生放送は，全方位カメラを用いるインターネット生放送である．多数の安価な全方位カメラが登場したことで，一般的なユーザでも利用できるようになった．また，インターネットインフラが整備されたことでユーザは360度インターネット生放送サービスをウェアラブルなものとして利用できるようになった．
当該サービスの特徴は従来の放送と比べ自由になる視聴方向(Point Of View：POV)と多くの情報量を提供できる点である．一方で，360度インターネット生放送サービスでは，放送者が視聴者のPOVを把握する機能が不足しているという問題がある．遠隔コミュニケーションにおいて視線情報が担う役割はとても重要であり，話題の中心や興味の対象を示すことが既に明らかになっている．つまり，視聴者のPOVを放送者が把握できない場合，視聴者と円滑なコミュニケーションが行えなくなる．
我々は，この問題に対して放送者を支援するために，POVを分析して視聴者の興味を検出する興味推定アルゴリズムを作成した．提案アルゴリズムでは，視聴者の視聴行動に関する特性を利用した．提案アルゴリズムを用いた場合，89.76%の精度で有意味なPOV変化を検出することができ，360度インターネット生放送における放送者支援に利用可能であることがわかった．
今後は，放送者に対して視聴者の興味を提示し，コミュニケーションを円滑化する方法を検討する．専用デバイスを用いる方法とMixed Reality（MR）を用いる方向性で検討している．専用デバイスとして開発する方向性としては，振動やLEDの点滅で方向を提示するデバイスや，手乗りの小型ロボットとして方向を提示するものを検討している．MRとして開発する方向性としては，現実空間上に視聴者が興味を持っている方向等を提示する方法を検討している．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，放送者と視聴者の円滑なコミュニケーションを支援する「バーチャルAD（アシスタントディレクター）」の実現を目指している．バーチャルADは，視聴者の視聴方向を分析し，興味を集めている方向や興味の移り変わりを，放送者に対して提示する機能である．
360度インターネット生放送の実験を数回実施し，視聴方向（POV）のデータを収集した．また，POVの分析を行い，POVの分布や時間的変化といった特徴を求めた．その結果，POVの次の3つの特徴が明らかになった．(1)視聴者のPOVは放送者の進行方向に向けられる．(2)視聴者が興味を持ったものがある場合，その対象に対して視聴者のPOVが追従する.(3)興味の対象が見切れるか，興味を失うとPOVは進行方向に向けられる.これらの特徴を基に，興味推定アルゴリズムを作成した．本アルゴリズムは，視聴者が放送者の視野角外の方向を一定時間見ている場合，興味を持った対象があると判断し，放送者にその方向を提示するものである．
提案アルゴリズムの初期評価を行ったところ，89.76%の精度で有意味なPOV変化を検出することができることがわかった．今後は，放送者への有効な提示方法を検討し，バーチャルADの設計・実装を進める．
|
| Strategy for Future Research Activity |
バーチャルADの設計・実装を進める予定である．バーチャルADをデバイスとして開発する方向性とMixed Reality（MR）を用いて開発する方向性を検討している．
バーチャルADをデバイスとして開発する方向性としては，振動やLEDの点滅で方向を提示するデバイスや，手乗りの小型ロボットとして方向を提示するものを検討している．これらを実装し，デバイスとして開発した場合の有効性と将来性を検証する．
MRとして開発する方向性としては，現実空間上に視聴者が興味を持っている方向等を提示する方法を検討している．MRデバイスであるHololens 2を用いて，より近未来的な配信環境の実現を目指す．
|
| Causes of Carryover |
新型コロナウイルスの影響により，実験や研究会発表の取りやめがあったことや，国際会議もオンライン発表になったことにより，旅費およびその他の使用額等が減ったため．
2021年度も新型コロナウイルスの影響があることが予想されることから，開発環境を充実させることに用いることで，研究活動の加速を図る．
|
