Acoustic Augmented Reality and Auditory Communication Ability Expansion Based on Small-Data Machine Learning Theory

2022 Fiscal Year Final Research Report

• Project/Area Number: 19H01116
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: The University of Tokyo
• Principal Investigator: Saruwatari Hiroshi 東京大学, 大学院情報理工学系研究科, 教授 (30324974)
• Co-Investigator(Kenkyū-buntansha): 北村 大地 香川高等専門学校, 電気情報工学科, 講師 (40804745) ; 中村 友彦 東京大学, 大学院情報理工学系研究科, 特任助教 (50866308) ; 牧野 昭二 早稲田大学, 理工学術院(情報生産システム研究科・センター), 特任教授 (60396190) ; 小山 翔一 東京大学, 大学院情報理工学系研究科, 講師 (80734459) ; 高道 慎之介 東京大学, 大学院情報理工学系研究科, 助教 (90784330)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: スモールデータ / 機械学習 / 音響拡張現実感

Outline of Final Research Achievements

In this research, we address small-data-aware sound information processing and its application. Our goal is to expand the unsupervised machine learning theory without a priori big data, and to apply the new theory to sound VR/AR system with efficient statistical modeling and control. In particular, we can develop our technologies for the sound VR/AR system, including flexible statistical model-based unsupervised/semi-supervised sound separation, and efficient voice conversion utilizing the generative DNN model, GAN, and DNN-based phase spectrum estimation.

Free Research Field

音響情報処理、音声情報処理、バーチャルリアリティー

Academic Significance and Societal Importance of the Research Achievements

本基盤研究で提案されたアルゴリズムにおいては、数理工学的に世界初の発見が複数存在している（例えば多変量におけるMajorizatrion-Equalizationアルゴリズムや劣ガウス生成モデルに関する音源分離アルゴリズムの導出、方向統計分布に基づく位相推定DNN、音場のカーネルリッジ回帰、等）。よって、当該学術分野に大きな貢献が出来たと考えられる。また、本貢献が認められ、多くの学術賞や奨励賞を受賞するに至った。