2021 Fiscal Year Annual Research Report
人・モノの存在感を減衰するノイズキャンセリングHMDの開発とその有効性の評価
| Project/Area Number |
21H03483
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Ryukoku University |
|---|
Principal Investigator |
酒田 信親 龍谷大学, 先端理工学部, 准教授 (40452411)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河合 紀彦 大阪工業大学, 情報科学部, 准教授 (30610670)
佐藤 智和 滋賀大学, データサイエンス学部, 教授 (50362835)
清川 清 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (60358869)
磯山 直也 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (70742021)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | ノイズキャンセリングHMD / 減衰現実感 / 減衰表現 / 隠消現実感 |
|---|
| Outline of Annual Research Achievements |
本研究は自分の視界をコントロールする研究として混雑環境下での視界中の人混み、もしくは、ある指定した人（達）以外の周囲の環境を視覚的ノイズとみなし、それらの存在感を減衰し、ストレス軽減や集中力向上を支援する視覚的ノイズキャンセリングヘッドマウントディスプレイ（NCHMD）の開発と有効性の評価を行う。視覚的ノイズとみなした群衆や周辺の環境をボケ、モザイク、モノクロ処理、縮小表示、半透明処理によって存在感を減衰した映像をHMDで被験者に観察させ、不快感の緩和度や集中度を計測し、ストレス軽減や集中力向上の可能性があるかを明らかにする。
本年度は最初の段階として、実験室環境において視覚的ノイズの存在感を減衰した視界を提供した場合の有効性とその特性を明らかにする実験を実施する予定であった。具体的には、雑踏環境中を全方位カメラで撮影した映像に対して、既存の領域推定技術によって人やモノの領域を推定し、その領域に対して前述のボケ、モザイク、モノクロ処理、縮小表示、半透明の処理を段階的な強度で施す。この作成した群衆存在感減衰映像をHMDで被験者に立位または座位の静止状態で観察させ、被験者が首を回転させるとそれに合わせて映像が変化する雑踏環境を擬似的に再現する。しかし、このような実験環境において映像を被験者に見せる予定であったが、映像を被験者に見せた場合のVR酔の発生が問題となり、被験者実験が困難であることがわかった。本年度はこのVR酔を軽減するシステムを構築した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
実験環境において映像を被験者に見せる予定であったが、映像を被験者に見せた場合のVR酔の発生が問題となり、被験者実験が困難であることがわかったが、VR酔を軽減するシステムを構築し、これに対処した。
|
| Strategy for Future Research Activity |
次年度も引き続き、雑踏環境中を全方位カメラで撮影した映像に対して、エンドツーエンドの深層学習を元にした既存の領域推定技術や一般物体認識によって人やモノの領域を推定し、その領域に対して前述のボケ、モザイク、モノクロ処理、縮小表示、半透明の処理を段階的な強度で施し、推定された領域中の人やモノの重要性が低い場合は、人々の存在感を減衰した映像（以後、群衆存在感減衰映像）を作成する。また反対に推定された領域中の人やモノの重要性が高い場合は、その人やモノの領域以外に対して前述のボケ、モザイク、モノクロ処理、縮小表示、半透明の処理を段階的な強度で施し、雑然とした環境の存在感を減衰し、話しかけてくる人の領域だけが元のままである映像（以後、環境存在感減衰映像）を作成する。これらの減衰映像の生成では人やモノの領域の部分を推定する技術が必要となるが、人の領域推定に対しては単眼RGBカメラから複数の人の骨格位置姿勢を検出するOpenPoseやPoseNetを用いる予定であり、モノに対しては既存の一般物体認識ライブラリであるYOLOv4、M2Detに加え、場合によってはMicrosoft Azure API等のCloud APIも利用する予定である。次に、作成した群衆存在感減衰映像をHMDで被験者に立位または座位の静止状態（首は動かせる）で観察させ、被験者が首を回転させるとそれに合わせて映像が変化する雑踏環境をVRで再現するものを構築する。そして、ユーザスタディとして、このような実験環境において視覚的ノイズ減衰処理の強度ごとにアンケートを行うことで、減衰強度と雑踏の人々から来る不快感の関係を測定する。また、この時に計算問題や文章を読ませる読解のタスクを実験条件として追加することで、そのパフォーマンスを測定し、群衆の存在感の減衰によって、集中力にどの程度影響があるかを測定する予定である。
|
