2019 Fiscal Year Annual Research Report
人と場の相互作用を考慮した知的感性活動を支える聴空間創出基盤技術の確立
| Project/Area Number |
19H04145
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
坂本 修一 東北大学, 電気通信研究所, 教授 (60332524)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
寺本 渉 熊本大学, 大学院人文社会科学研究部(文), 教授 (30509089)
大谷 真 京都大学, 工学研究科, 准教授 (40433198)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | バーチャルリアリティ / 聴空間センシング / 3次元音空間再生 / 臨場感通信 / 遠隔協働 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，聴覚による「場」の理解に基づき，「場」を共有する人間も考慮して知的感性活動を支え高める「場」を設計・創出することである。この目的の実現のため，本研究では3つのサブテーマを掲げて研究を推進することとした。
2019年度は，この3つのサブテーマのうちの【A：聴空間としての「場」のセンシング技術，および，高精度・高感性提示手法の開発】に注力し，研究を進めてきた。本研究の基盤となる人間が「場」を聴覚的に知覚，認識するメカニズムを明らかにするためには，そのために実施する知覚実験を行う実験系を高精度に構築することが重要となり，そこでは，音空間情報をいかに高精度にユーザに提示できるかが成功の鍵となる。本研究グループではこれまで球状マイクロホンアレイを用いた3次元音空間収音技術を開発してきたものの，球状マイクロホンアレイに設置されたマイクロホンの配置，個数といったハードウェアの性能に高精度で再現できる音空間の上限周波数が依存し，上限周波数以上の周波数帯域では再現精度が低下していた。そこで，上限周波数以上の周波数帯域での再現音空間の精度向上を目指し，音空間知覚における人間の処理の特性に基づいた知覚的高精度化を行った。具体的には，人間の音空間知覚の手がかりは周波数によって異なり，高周波数領域では両耳に入力される信号のレベル差の寄与が大きい，言い換えれば，位相情報はそれほど重要ではないことを活用し，高周波数領域では，限られたマイクロホンのリソースを振幅情報の再現に注力する新しいアルゴリズムの開発を行った。さらに，頭部伝達関数の細かいピークやディップではなく全方向における大局的な傾向を再現するための方法も検討した。これらを組み合わせることで，ハードウェアの性能限界以上の領域での再現音空間の知覚的高精度化が見込めることが示された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
先にも述べたように本研究を遂行する上では，「場」において重要な役割を果たす音空間情報の高精度な取得，操作，再現技術の開発は極めて重要である。2019年度に実施した研究により，提案する方法によってより高い精度で音空間を提示出来る可能性を示すことが出来た。この技術をより高度化し，複数の聴取者に適用することで，聴覚による「場」の理解をより明らかにすることが出来ると考えている。さらに，人間が聴空間で構成された「場」におかれた際に受ける様々な刺激に対する反応を調査する実験系についても，眼球運動などの指標を実験中に取得するためのシステムの構築を終えており，今後構築した実験系を用いて「場」における人間の挙動，反応を取得する実験を実施するのみの状態となっている。これらは，今後研究を鋭意推進していく上での重要な要素技術，システムであり，初年度にこれらの技術を実現することが出来たことは研究が順調に推移していることを示している。2019年度末以降に生じたCOVID-19による様々な制限により，実際の主観評価，知覚実験が充分に行えない環境であったものの，そのような中でこれらの技術が実現出来ており，今後も当初予定どおりの研究実施が可能となると考えている。
|
| Strategy for Future Research Activity |
本研究で掲げたサブテーマは，【A：聴空間としての「場」のセンシング技術，および，高精度・高感性提示手法の開発】，【B：「場」に集う他者の認識を含めた「場」の知覚・認識モデルの構築】，【C：「場」の知覚・認識モデルに基づく人間に適した形での「場」の設計技術の確立】の3つであり，2019年度は【A】のサブテーマに注力して成果を上げることが出来た。2020年度以降は，【A】のさらなる改善と合わせ，【B】，【C】についても研究を進めていく。【A】では，「場」に集う多数の人間全員に精度の高い音空間を提示するための技術として，これまで培ってきた球状マイクロホンアレイを用いた3次元音空間収音技術を拡張し，複数の球状マイクロホンアレイを活用して，より広い領域において音空間を精度高く提示できる技術の開発を進めていく。また，【B】において，「場」に集う人間を聴覚的に知覚するということを考えた際に，人間が聴覚オブジェクトをどのように認識，処理しているのかということが基盤となると考え，人間の音像知覚，具体的には音像を意識せずに音像の知覚メカニズムを明らかにしていく。【C】については，どのような音環境が人間に取って最適なのかを，様々なシーンとそこに集う人間の作業効率といった観点で分析を実施する。
|
