2023 Fiscal Year Annual Research Report
人・モノの存在感を減衰するノイズキャンセリングHMDの開発とその有効性の評価
| Project/Area Number |
21H03483
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Ryukoku University |
|---|
Principal Investigator |
酒田 信親 龍谷大学, 先端理工学部, 准教授 (40452411)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河合 紀彦 大阪工業大学, 情報科学部, 准教授 (30610670)
佐藤 智和 滋賀大学, データサイエンス学系, 教授 (50362835)
清川 清 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (60358869)
磯山 直也 大妻女子大学, 社会情報学部, 講師 (70742021)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | ノイズキャンセリングHMD |
|---|
| Outline of Annual Research Achievements |
本研究は自分の視界をコントロールする研究として混雑環境下での視界中の人混み、もしくは、ある指定した人（達）以外の周囲の環境を視覚的ノイズとみなし、それらの存在感を減衰し、ストレス軽減や集中力向上を支援する視覚的ノイズキャンセリングヘッドマウントディスプレイ（NCHMD）の開発と有効性の評価を行う。そのために視覚的ノイズとみなした群衆や周辺の環境をボケ、モザイク、モノクロ処理、縮小表示、半透明処理によって存在感を減衰した映像をHMDで被験者に観察させ、不快感の緩和度や集中度を計測し、ストレス軽減や集中力向上の可能性があるかを明らかにする。
今年度は、NCHMDにおける背景補完において、生成AIを用いた手法を実装した。この生成AIを用いた手法の有効性の確認するために、ヘッドマウントディスプレイ（Head Mounted Display: HMD）とステレオカメラからなり、背景補完法を改良したノイズキャンセリングHMDを試作した。なお、HMDにはHTC社製VIVE Pro 2，ステレオカメラにStreolabs社製ZED Mini Stereo Cameraを利用した。ソフトウェアには，Python（3.10.11）及びPython上で動作するOpenCV（opencv-python4.9.0.80）、StreamDiffusion、Stereolabs社が提供しているZED SDK（4.0.8）を用いた。
このシステムを用いて、人物サイズを変更し、深度情報に基づいて背景と前景を分離していた従来手法と比べ現実感や違和感に変化があるかを確認するユーザスタディを実施した。具体的には実験環境において視覚的ノイズ減衰処理の強度ごとにアンケートを行うことで、減衰強度と雑踏の人々から来る不快感の関係を測定した。その結果，現実感が向上することが分かった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
前年度で開発した皮膚表面冷却によるVR 酔い症状緩和システムの評価を行い、その有効性をユーザスタディによって確認した。また、その結果を査読付き国内会議で発表した。
加えて、NCHMDにおける背景補完において生成AIを用いた手法を実装した。この手法の有効性を確認するために、深度情報に基づいて背景と前景を分離していた従来手法と比べ現実感や違和感に変化があるかを確認した。その結果，現実感が向上することが分かった．そして、小規模であるもののユーザスタディとして、このような実験環境において視覚的ノイズ減衰処理の強度ごとにアンケートを行うことで、減衰強度と雑踏の人々から来る不快感の関係を測定した。その結果，現実感が向上することが分かった．これらのことより来年度に向けて生成AIでどのような処理を行った実験を実施するかの指標を得られた。
|
| Strategy for Future Research Activity |
次年度は、引き続きNCHMDにおける背景補完において生成AIを用いた手法の実装を継続する。今年度では、主に撮影画像中の人物画像の縮小に対して、学習済みネットワークを用いた処理を行っていたが、次年度ではボケ、モザイク、モノクロ処理、半透明の処理を段階的な強度で施し、推定された領域中の人やモノの重要性が低い場合は、人々の存在感を減衰した映像（以後、群衆存在感減衰映像）を作成する予定である。今年度では、ソフトウェアの処理として，Python（3.10.11）及びPython上で動作するOpenCV（opencv-python4.9.0.80），StreamDiffusion，Stereolabs社が提供しているZED SDK（4.0.8）を用いていたが、領域切り出しや推定部に関して新しい学習済みネットワークのライブラリを選定し、それらを利用する予定である。また、被験者数を増やしたユーザスタディによって提案手法の有効性を明らかにし、これらの結果を、国際会議や論文誌へ投稿する予定である。
また、首皮膚表面冷却によるVR酔い症状の緩和の効果に関しても、大規模なユーザスタディを行った。具体的には、VR酔いを誘発させるような1 人称視点のVRゲームを作成し、被験者実験を行った。VR 酔い症状の評価のため、SSQ による定性評価、タスクによる定量評価を行い、それぞれで提案法の効果を検証した。実験結果より、首元の皮膚表面冷却によるVR 酔い症状の緩和の効果が認められ、さらに被験者の皮膚表面温度がVR 活動の前後で変化していることが確認された。これらの結果をまとめ、国際会議や論文誌へ投稿する予定である。
|
