人間の選択的情報処理に基づく聴空間共有型コミュニケーションプラットホームの実現
| Project/Area Number |
22H00523
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
坂本 修一 東北大学, 電気通信研究所, 教授 (60332524)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
寺岡 諒 室蘭工業大学, 大学院工学研究科, 助教 (10896666)
寺本 渉 熊本大学, 大学院人文社会科学研究部(文), 教授 (30509089)
大谷 真 京都大学, 工学研究科, 教授 (40433198)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥41,340,000 (Direct Cost: ¥31,800,000、Indirect Cost: ¥9,540,000)
Fiscal Year 2024: ¥7,020,000 (Direct Cost: ¥5,400,000、Indirect Cost: ¥1,620,000)
Fiscal Year 2023: ¥18,200,000 (Direct Cost: ¥14,000,000、Indirect Cost: ¥4,200,000)
Fiscal Year 2022: ¥9,360,000 (Direct Cost: ¥7,200,000、Indirect Cost: ¥2,160,000)
|
|---|
| Keywords | バーチャルリアリティ / 聴空間センシング / 3次元音空間再生 / 臨場感通信 / 遠隔協働 |
|---|
| Outline of Research at the Start |
人間は生まれ持った選択聴取機構に基づき，周囲の情報を「前景」と「背景」に分離し，かつ，分離した「前景」と「背景」を異なる情報処理過程で処理することが知られている。したがって，リアルで感性高いコミュニケーションを支える環境の構築には，「対象」として環境を陽に構成しうる前景情報と，「場」としてユーザを取り巻く背景情報を適切に考慮し，その情報の特性を踏まえた上で，適切に提示する技術が必要となる。
そこで本研究では，聴覚情報を対象として，先に述べた人間の選択的情報処理機構に基づいて，提示すべき前景情報と背景情報を適応的に操作・創出可能な聴空間共有型コミュニケーションプラットホームを構築する。
|
| Outline of Annual Research Achievements |
本研究は，聴覚情報を対象とし，我々を取り巻く環境を，環境を陽に構成しうる前景情報と「場」としてユーザを取り巻く背景情報に切り分けて適応的に操作・創出する聴空間共有型コミュニケーションプラットホームを構築するものである。4つのサブテーマを設定し，各テーマを平行して実施し，得られた成果を有機的に結合していく。2022年度は【A：聴空間としての「場」のセンシング技術の開発】，【B：聴空間心内表象（プロトタイプ）のモデル化】の2サブテーマに特に注力して研究を進めた。
まず，【A：聴空間としての「場」のセンシング技術の開発】に関しては，複数の球状マイクロホンアレイを用いた音空間取得提示システムの開発に取り組んだ。球状マイクロホンアレイを用いた既存の音空間収音技術では，収音点にアレイを設置する必要があるという制約があった。そこで，収音エリア周囲に複数のアレイを配置し，それらを連動させることで，収音点にアレイを設置することなくエリア全体の音空間を収音する技術を開発した。この成果は，国内学会（音学シンポジウム），国際学会（NOVEM2023）にて，招待講演，基調講演として発表された。
次に【B：聴空間心内表象（プロトタイプ）のモデル化】では，人間の聴覚オブジェクト認識における空間情報の影響を検討した。実験では，音脈分凝を対象に，空間情報を操作した刺激の分離，統合の知覚様相を分析した。その結果，周辺領域では空間の一致が統合知覚にさほど重要ではない（空間位置が離れていても統合知覚が生起する）という興味深い結果を得た。また，聴覚オブジェクトが有する空間的な情報が音響シーンの知覚に及ぼす影響についても，聴取実験により明らかにした
これ以外にも，近距離音空間を対象に，近距離頭部伝達関数の高精度合成技術の開発や聴覚的注意に関する分析など，知覚的，物理的の両面から研究を実施し，いずれも興味深い結果が得られた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究プロジェクトの初年度である2022年度は当初のもくろみ通り研究が順調に推移した。具体的には研究実績にも記載したとおり，2022年度は【A：聴空間としての「場」のセンシング技術の開発】，【B：聴空間心内表象（プロトタイプ）のモデル化】の2つのサブテーマにに特に注力して研究を進め，いずれのサブテーマにおいても，実験，開発が順調に進み，国内外の学会で成果を発表することができた。特に【A：聴空間としての「場」のセンシング技術の開発】に関連する成果は，いずれも招待講演（うちひとつは基調講演）としての発表であり，高い次元で成果を得ることができたことを暗に示している。また，【B：聴空間心内表象（プロトタイプ）のモデル化】についても，国内学会での発表を多数行っており，予定通りに着実に研究が進展していることを裏付けている。
さらに，他の2つのサブテーマについても検討自体は実施した。いずれも探索的な検討ではあるものの，次につながる成果が得られている。例えば【C：「場」に集う他者の認識を含めた「場」の知覚・認識モデルの構築】においては，【B：聴空間心内表象（プロトタイプ）のモデル化】での実験で対象とした聴覚的注意が，「前景」「背景」の知覚様相につながる聴空間心内表象の分析指標として使用が可能ではないかという手応えが得られている。また，【D：提示される聴覚情報の特性に基づく「場」の適応的創出技術の確立】についても，「背景」となる音空間を規定する指標として使用可能な拡散性について数理モデル化を進めている。いずれの成果も2023年度の研究を強力に推進していく際の基盤となるものである。
以上のように，初年度にもかかわらずいずれのサブテーマにおいても興味深い成果が多数得られており，当初の予定通り研究が順調に推移していると考えている。
|
| Strategy for Future Research Activity |
2023年度以降も順調に研究が推移した2022年度と同様に各サブテーマに分けて強力に研究を推進していく。
【A：聴空間としての「場」のセンシング技術の開発】については，2022年度に開発した複数球状マイクロホンアレイを分散配置した音空間収音提示技術の性能評価，および，高度化を行う。2022年度に開発した方法では，分散配置する球状マイクロホンアレイの数が多かったこともあり，必要となるアレイの個数をどの程度減らすことができるかについて検討を進めていく。また，より高精度に収音可能な新たな方法についても検討を進めていく。【B：聴空間心内表象（プロトタイプ）のモデル化】については，2022年度に実施した研究を発展させ，聴空間心内表象のモデル化につなげていく。特に聴覚オブジェクトの認識において，音脈分凝の際に操作する物理パラメータを複数設定し，それぞれのパラメータが聴覚オブジェクトの認識にどのように影響するかについて検討を進める。また，聴覚オブジェクト自身が有する意味とそれに関連する空間情報についても音響シーンの知覚様相の分析を通して影響を明らかにしていく。【C：「場」に集う他者の認識を含めた「場」の知覚・認識モデルの構築】については，通常他者はある程度の近い位置に存在するであろうことを念頭に，聴取者の身体近傍における聴覚情報処理，特に聴覚的注意に関し，行動実験，脳機能計測を用いて知覚特性を分析していく。【D：提示される聴覚情報の特性に基づく「場」の適応的創出技術の確立】については，想定される様々な作業においてどのような音環境が適しているかをケーススタディー的に分析し，最終的に構築すべき音環境の決定法につなげていく。
さらに個々のサブテーマを独立に実施していくだけでなく，各サブテーマの成果を共有し，最終的な研究成果につなげていく活動も進めていく予定である。
|
Report
(2 results)
Research Products
(20 results)
