2023 Fiscal Year Research-status Report
近未来型VRライブ配信環境におけるコミュニケーション支援システムの開発
| Project/Area Number |
20K11794
|
|---|
| Research Institution | Iwate Prefectural University |
|---|
Principal Investigator |
齊藤 義仰 岩手県立大学, ソフトウェア情報学部, 准教授 (80468115)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Keywords | 360度インターネット生放送 / Mixed Reality / コミュニケーション支援 |
|---|
| Outline of Annual Research Achievements |
360度インターネット生放送において，視聴者の視聴方向（Point Of View: POV）の情報や視聴者の興味情報を用いて，放送者が視聴者とコミュニケーションをとりやすくする支援手法を取り組んだ．昨年度に引き続き，Mixed Reality（MR）技術を応用して研究を行った．
視聴者のPOVを放送者に提示して，視聴者とのコミュニケーションを支援する手法として，MR技術を用いて集計した視聴者のPOVを球体状のヒートマップ（球体状POVヒートマップ）で可視化し，視聴者の興味を集めている方向を示す手法を提案した．MRデバイスとしてMicrosoft社のHoloLens 2を利用し，プロトタイプシステムを実装した．プロトタイプシステムでは，視聴者のPOVの360度映像上の座標をリアルタイムで収集し，HoloLens2上で動作するMRアプリケーションに送信する．MRアプリケーションでは，各視聴者のPOVの座標を現実空間上の3次元座標に変換する．これらの座標を集計することで球体状POVヒートマップを作成し，全方位カメラの上部にホログラムとして表示することを可能とした．
評価の結果，提案手法は，視聴者の興味を集めている方向を把握できるようになることにより，視聴者のコメントした対象の物体を素早く発見できることがわかった．一方で，カメラ上部の球体状POVヒートマップを表示させえているため，カメラの方向を確認してからヒートマップが表示されている方向を見る必要があるため，視聴者のコメントに対して応答するのに時間がかかってしまうという問題も見つかった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，放送者と視聴者の円滑なコミュニケーションを支援する「バーチャルAD（アシスタントディレクター）」の実現を目指している．バーチャルADは，視聴者の視聴方向を分析し，興味を集めている方向や興味の移り変わりを，様々な手法を用いて放送者に対して提示する機能である．
今年度は，MR技術を用いたアプローチを発展させ，有効性を検証した．MRによる球体状POVヒートマップを実装し，現実空間上にどの方向が視聴者によく見られており，興味を持たれているのかを提示することで，視聴者のコメントした対象の物体を素早く把握可能とした．
今年度実施した球体状POVヒートマップは，昨年度実施したMRマーカーを予定通り発展させた研究となっており，おおむね順調に進展していると言える．
|
| Strategy for Future Research Activity |
今後は，開発した球体状POVヒットマップについて，評価で明らかになった問題に対して改良を行い，バーチャルADの機能として完成させる．
具体的には，全方位カメラ上部に固定して球体状ヒートマップを表示していたものを，放送者を追従して覆う形でヒートマップを表示し，視聴者が見ている対象の物体の方向に直接ヒートマップを表示させるようする．これにより，カメラの方向を見て球体状ヒートマップを確認する手間を減らし，より素早く直感的に視聴者の興味を放送者は把握できるようになる．
|
| Causes of Carryover |
実装した球体状ヒートマップの実験が遅れ，発見された問題への対応が必要になったため．
2024年度はMRデバイスの数を増やし開発・実験を加速させ，研究を完遂する．
|
