2020 Fiscal Year Annual Research Report

人と場の相互作用を考慮した知的感性活動を支える聴空間創出基盤技術の確立

Research Project

Project/Area Number	19H04145
Research Institution	Tohoku University
Principal Investigator	坂本修一東北大学, 電気通信研究所, 教授 (60332524)
Co-Investigator(Kenkyū-buntansha)	寺本渉熊本大学, 大学院人文社会科学研究部(文), 教授 (30509089) 大谷真京都大学, 工学研究科, 准教授 (40433198)
Project Period (FY)	2019-04-01 – 2023-03-31
Keywords	バーチャルリアリティ / 聴空間センシング / 3次元音空間再生 / 臨場感通信 / 遠隔協働
Outline of Annual Research Achievements	本研究の目的は，聴覚による「場」の理解に基づき，「場」を共有する人間も考慮して知的感性活動を支え高める「場」を設計・創出することである。この目的の実現のため，本研究では3つのサブテーマを掲げて研究を推進してきた。 2020年度は，この3つのサブテーマのうちの【A：聴空間としての「場」のセンシング技術，および，高精度・高感性提示手法の開発】と【B：「場」に集う他者の認識を含めた「場」の知覚・認識モデルの構築】に注力した。まず【A】については，本研究グループで構築してきた球状マイクロホンアレイを用いた3次元音空間収音再生技術を元に，より広い領域での音空間を取得，再現出来る方法の開発を進めた。これまでの方法では，音空間情報を再現したい点に実際に球状マイクロホンアレイを設置する必要があった。しかし，実運用を考えると，その場にマイクロホンアレイをおける場面は極めて限定的である。そこで，仮想球に基づく音空間再現技術ADVISEを基盤とし，複数のアレイを取得したい点の周囲に配置して，それらのアレイで収録された音から聴取者周囲の仮想球面での音情報を求め，高次アンビソニックスの技術を用いて仮想球内の音空間情報を求める方法の開発に成功した。これにより，取得したい点にアレイを実際に設置しなくても音情報の再現が可能となった。次に【B】については，空間上の様々な位置に配置された話者から発せられる音声について，方向性マスキング解除がどの程度空間的に作用するかについてを，音韻修復の現象を用いて，実験的に明らかにした。実験では断続的な音声を発生させるスピーカと，ノイズを提示するスピーカの位置をパラメトリックに変化させ，両者の角度が音韻修復に及ぼす影響を求めた。これは空間上に他者が存在する状態において，両者を空間的に区別して理解する際の基礎的な知見となると考えている。
Current Status of Research Progress	Current Status of Research Progress 1: Research has progressed more than it was originally planned. Reason 先にも述べたように本研究を遂行する上では，「場」において重要な役割を果たす音空間情報の高精度な取得，操作，再現技術の開発は極めて重要である。2020年度に実施した研究により，収録の際に使用する球状マイクロホンアレイの設置に関する制約が緩和され，取得する事が出来なかった音環境の収録が可能となった。様々な「場」の情報を集め，その性質を定量的に明らかにしていくことは本研究の成功のカギとなる。そのような意味でこの成果は，本研究で扱うことの出来る「場」を格段に広げる事につながるものであり，非常に大きな進展と考えている。一方，「場」の理解という観点において，音響的な視点で他者の知覚につながる研究に関しても，音韻修復の空間特性というこれまでにない新しい評価尺度を提案し，実験によって両者の依存関係を明らかにするなど，当初想定した以上の進展を見せている。さらに，この研究の成果をまとめた発表は，2021年9月8日に日本音響学会学生優秀発表賞を受賞するなど，高い評価も得ている。 2019年度末以降に生じたCOVID-19によって，様々な主観評価，知覚実験が制限される中，このような興味深い結果が得られ成果として発表出来ている事は特筆に値すべき事と考えており，当初予定以上に研究が進展していると考えている。
Strategy for Future Research Activity	本研究で掲げたサブテーマは，【A：聴空間としての「場」のセンシング技術，および，高精度・高感性提示手法の開発】，【B：「場」に集う他者の認識を含めた「場」の知覚・認識モデルの構築】，【C：「場」の知覚・認識モデルに基づく人間に適した形での「場」の設計技術の確立】の3つであり，2020年度は【A】，【B】のサブテーマに注力して成果を上げることが出来た。2021年度以降は，【A】，【B】について継続的に研究を進めていく事と合わせ，それらの知見を融合した【C】についても研究を着手していく。【A】では，他者の存在を知覚する上で重要となる聴取者のより近傍での音情報の再現に着目し，近距離頭部伝達関数の合成技術について検討を進めていく。また，【B】においては，感性的な観点で聴取者が「場」をどのように理解するかについて，「臨場感」「迫真性」などの指標を用いて「場」の知覚メカニズムを実験的に明らかにしていく。特に聴覚情報に限らず，視覚情報，全身振動情報といった多感覚情報の影響についても研究を進めていく。さらに，「場」を評価する様々な指標に関し，より空間性を生かした形での評価法の検討も行っていく。それらの知見を活用し，【C】については，引き続き，どのような音環境が人間に取って最適なのかを，様々なシーンとそこに集う人間の作業効率といった観点で分析を実施する。