| 研究課題/領域番号 |
19K12193
|
|---|
| 研究機関 | 名城大学 |
|---|
研究代表者 |
西野 隆典 名城大学, 都市情報学部, 教授 (40329769)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | 頭部伝達関数 / 両耳室内インパルス応答 / 深層学習 / クロスリアリティ |
|---|
| 研究実績の概要 |
本課題は、これまでに提案した自由頂点音響技術を発展させ、音響技術によるクロスリアリティ（仮想現実感、拡張現実感、複合現実感、隠消現実感）の実現に向けた検討を行っている。特に、ユーザが所望する音環境や、ユーザに聞いて欲しい音環境の立体音響再生が主題である。2020年度の検討課題は、人間と同程度に音源定位を行う深層学習を用いた音源定位モデルの検討、深層学習応用に加え、ユーザが所望する音の生成に関して、発話者自身が好ましいと思う自己聴取音声の生成である。
深層学習を用いた音源定位モデルとして、前年度に引き続き多層ニューラルネットワークを用いた深層学習による音源定位について検討を進めた。残響時間が異なる両耳信号データセットを作成し、学習と評価で異なる残響時間の両耳データを用いた検討を行った。併せて、我々の音源定位能力の獲得プロセスと同様、学習データには音声、音楽といった日常的な音を用い、評価データには、実験でしばしば用いられるホワイトノイズを用いた検討を行った。実験の結果、多様な残響時間のデータセットを用いることで、未知の残響時間への対応が可能であることが示唆されるとともに、音声や音楽を学習データとして用いることの効果が確認できた。ただし、全体として、音源定位精度が人間の能力よりもはるかに良い結果であったり、人間らしい誤りの発生が少ないといった傾向がみられたため、今後さらなる検討が必要であると考えられる。
また、発話者自身が好ましいと思う自己聴取音声の生成に関しては、従来は頭内の伝達特性を推定するといった検討が行われていたのに対し、声質変換技術を用いて生成する手法を試みた。生成した音声を評価した結果、声質変換技術を用いて自己聴取音声を生成することが可能であることが確認された。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
深層学習を用いた音源定位モデルについては、これまでに作成した両耳室内インパルス応答データベースを利用することにより、151～417 ms の残響時間を持つ両耳信号を生成した。これらの両耳信号データを対象として、学習と評価に用いる残響時間データの組み合わせを4通り、学習と評価に用いる音源信号種類を2通りの計8通りの実験条件で評価実験を行った。なお、実験では音源定位を音源方向数分の分類問題として考える条件とした。また、ネットワークへ入力するデータは、両耳信号から求めたスペクトログラム画像とした。実験の結果、未知の残響時間における両耳信号に対し、±5°の誤りを許容した場合では、学習と評価ともホワイトノイズを用いた場合は96%以上の正解率、学習に音楽、音声を用い、評価にホワイトノイズを用いた場合は78%以上の正解率が得られた。特に、学習に音楽、音声、評価にホワイトノイズを用いた場合では、若干ではあるが前後誤りが生じるといった結果も得られた。
発話者自身が好ましいと思う自己聴取音声の生成に関しては、声質変換技術を用い、録音した音声から発話者が聞き慣れている、または好ましいと感じる音声の生成を試みた。生成した音声を評価した結果、声質変換技術を用いて自己聴取音声を生成することが可能であることが確認され、ユーザが好む自己の音声の生成の一手法として有効であることが示唆された。
また、深層学習の応用として、環境音認識と立体形状生成に関する検討を進めた。これらの検討から得られたネットワーク構造や結果などを、音源定位モデルの改良に反映させていく予定である。
|
| 今後の研究の推進方策 |
音源定位モデルについては、機械学習によって実現された性能が人間よりも高精度であるため、当初の目標である「人間と同程度」は達成できていない。これについて、これまでの検討結果で得られた、確率密度関数との対応付け、学習データに音声、音楽を用いるといった条件での検討を進める予定である。
また、本課題の研究と関連して、音源定位モデルで使用する深層学習手法の改良に向けた知見を得るため、新たな深層学習手法や適用先について引き続き検討を進める。また、人間の行動を多方面から知るため、筋電位のセンシングに関する研究や、インタラクションデザインに関わる研究についての検討を行う。
|
| 次年度使用額が生じた理由 |
新型コロナウイルス感染拡大の影響により、物品費と旅費について執行計画とに差が生じた。旅費では、研究発表会がオンライン開催となったことにより交通費等が発生しなかった。また、物品費では、コンピュータ関連機器の需要増や半導体供給問題により年度内の納品が見込めないといったことから、年度後半より執行計画とに差が生ずることとなった。
2021年度については、研究発表会のオンライン開催への対応や、物品調達に必要な期間の見積もりについて、引き続き情報収集などを行い、計画的に執行することを目指す。また、適宜実験計画を見直し、物品購入や旅費の執行を含めた適切な研究活動を行う。
|
