• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実施状況報告書

深層生成ニューラルネットに基づくデータ駆動型音声マルチスポット再生技術の開発

研究課題

研究課題/領域番号 23K11177
研究機関国立研究開発法人情報通信研究機構

研究代表者

岡本 拓磨  国立研究開発法人情報通信研究機構, ユニバーサルコミュニケーション研究所先進的音声翻訳研究開発推進センター, 主任研究員 (10551567)

研究期間 (年度) 2023-04-01 – 2026-03-31
キーワードマルチスポット再生 / 音場制御 / 局所再生 / スピーカアレイ / データ駆動 / 誤差逆伝播
研究実績の概要

<データ駆動型マルチスポット再生方式の提案>
従来のマルチスポット再生方式の多くはは局所再生方式をエリアごとに重ね合わせる方式であるため,同時に再生されるお互いの再生信号を考慮していない.隣り合う再生信号を考慮した方式も提案されているが,エリアが2つに限定されていた.提案法を導出するにあたり,まず最初に,ニューラルネットワークの学習で用いられている誤差逆伝播を用いた局所再生方式を提案した.これは,再生音場と目的音場の誤差を誤差逆伝播することにより各スピーカの駆動信号を更新する方式である.計算機シミュレーションにより逆行列を用いた方式と比較して再生誤差を低減できることを示した.その上で,複数の音信号をそれぞれのエリアに同時に再生した場合のマルチスポット再生にも誤差逆伝播を用いた方式を提案し,計算機シミュレーションにより逆行列を用いた方式と比較して再生誤差を低減できることを示した.本成果は日本音響学会2024年春季研究発表会にて発表し,現在ジャーナル論文執筆中である.
<デモ展示>
これまでに開発した16チャネル円形アレイを用いたフーリエ変換に基づくマルチスポット再生を実装し,ICASSP 2023およびWASPAA 2023にてデモ展示を行った.また,代表者が本務で研究開発している多言語同時通訳と音声マルチスポット再生を統合したデモ展示をNICTオープンハウスやCEATEC 2023等,数多くのデモ展示を行った.CEATEC 2023での4言語音声マルチスポット再生が反響を呼び,2024年1月28日,日本テレビ「博士は今日も嫉妬する 人生が楽しくなる最新テクノロジー」において「Case142 特定の場所だけ聞こえるスピーカー」としてTV地上波において全国放送された.さらに,Internoise 2023においてデモシステム紹介を含めた招待講演を行った.

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

計画通り,データ駆動型のマルチスポット再生を提案し,従来方式よりも精度よく制御できることを示せたためである.さらに,実装したデモシステムが予想を上回る好評ぶりであったことから,当初の計画以上に進展していると自己評価した.

今後の研究の推進方策

2023年度に提案した誤差逆伝播を用いたデータ駆動型マルチスポット再生方式をジャーナル論文化し,さらにデモ機材への実装を行う.その上で,人間の聴覚特性を考慮した方式やマスキングを考慮した方式への拡張を行う.

次年度使用額が生じた理由

次年度使用額が生じた理由:提案方式に予想以上の進展があったため,年度内に予定していた聴取実験および論文投稿を来年度に実施する方針に変更したため.
使用計画:2023年度に提案した誤差逆伝播を用いたデータ駆動型マルチスポット再生方式のジャーナル執筆における再生音声聴取実験,英文校閲および論文掲載料として用いるため.

  • 研究成果

    (10件)

すべて 2024 2023 その他

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (4件) (うち国際学会 2件) 備考 (4件) 産業財産権 (1件)

  • [雑誌論文] Multilingual sound sopt synthesis systems2023

    • 著者名/発表者名
      Takuma Okamoto
    • 雑誌名

      INTER-NOISE and NOISE-CON Congress and Conference Proceedings

      巻: 268 ページ: 5861~5865

    • DOI

      10.3397/IN_2023_0842

    • 査読あり
  • [学会発表] 再生信号適応型マルチスポット再生の最適化に関する検討2024

    • 著者名/発表者名
      岡本拓磨
    • 学会等名
      日本音響学会2024年春季研究発表会
  • [学会発表] Portable multilingual sound spot synthesis system with a compact circular array of 16 loudspeakers2023

    • 著者名/発表者名
      Takuma Okamoto, Katsushi Ueno, Tsukasa Okabe, Kentaro Tani, Yasuhiko Yoshikata, Miyuki Sudo, Manae Kuwahara, Keita Hikita
    • 学会等名
      ICASSP 2023
    • 国際学会
  • [学会発表] Improving portable multiple sound spot synthesis system with a baffled circular array of 16 loudspeakers2023

    • 著者名/発表者名
      Takuma Okamoto, Katsushi Ueno, Tsukasa Okabe, Kentaro Tani, Yasuhiko Yoshikata, Miyuki Sudo, Manae Kuwahara, Keita Hikita
    • 学会等名
      WASPAA 2023
    • 国際学会
  • [学会発表] 16チャネル円形スピーカアレイを用いたポータブルマルチスポット再生システムの改良2023

    • 著者名/発表者名
      岡本拓磨,上野克司,岡部司,谷健太郎,芳潟靖彦,須藤美優希,桑原万苗,疋田啓太
    • 学会等名
      日本音響学会2023年秋季研究発表会
  • [備考] 音声マルチスポット再生技術

    • URL

      https://ast-astrec.nict.go.jp/MultipleSoundSpotSynthesis/

  • [備考] Multiple sound spot synthesis technology

    • URL

      https://ast-astrec.nict.go.jp/en/MultipleSoundSpotSynthesis/

  • [備考] 岡本拓磨 | PEOPLE | 情報通信研究機構 (NICT)

    • URL

      https://www2.nict.go.jp/employment/researcher/okamoto-takuma.html

  • [備考] OKAMOTO Takuma | PEOPLE | NICT

    • URL

      https://www2.nict.go.jp/employment/researcher/en/okamoto-takuma.html

  • [産業財産権] 音場制御装置,音場制御方法およびプログラム2024

    • 発明者名
      岡本拓磨,内元清貴
    • 権利者名
      岡本拓磨,内元清貴
    • 産業財産権種類
      特許
    • 産業財産権番号
      特願2024-021120

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi