• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

分散音響センシングと非同期時系列モデリングに基づく音声・音響シーン認識の革新

研究課題

研究課題/領域番号 20H00613
研究種目

基盤研究(A)

配分区分補助金
応募区分一般
審査区分 中区分61:人間情報学およびその関連分野
研究機関東京都立大学

研究代表者

小野 順貴  東京都立大学, システムデザイン研究科, 教授 (80334259)

研究分担者 須山 章子 (荒木章子)  日本電信電話株式会社NTTコミュニケーション科学基礎研究所, メディア情報研究部, 主幹研究員 (30396212)
井本 桂右  同志社大学, 理工学部, 准教授 (90802116)
塩田 さやか  東京都立大学, システムデザイン研究科, 助教 (90705039)
宮崎 亮一  徳山工業高等専門学校, 情報電子工学科, 准教授 (40734728)
貴家 仁志  東京都立大学, システムデザイン研究科, 教授 (40157110)
研究期間 (年度) 2020-04-01 – 2024-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
45,240千円 (直接経費: 34,800千円、間接経費: 10,440千円)
2023年度: 9,620千円 (直接経費: 7,400千円、間接経費: 2,220千円)
2022年度: 10,530千円 (直接経費: 8,100千円、間接経費: 2,430千円)
2021年度: 10,530千円 (直接経費: 8,100千円、間接経費: 2,430千円)
2020年度: 14,560千円 (直接経費: 11,200千円、間接経費: 3,360千円)
キーワード非同期 / 分散音響センシング / 音源分離 / 音声認識 / 音響シーン認識 / 分散マイクロホンアレイ / 同期 / ブリンキー
研究開始時の研究の概要

本研究の目的は、複数録音機器を広範囲に配置し、分散音響センシングと非同期時系列モデリングにより、音声認識、音響シーン認識の性能を格段に向上することである。具体的な応用には、1)会議議事録の作成、実環境会話分析などオフライン処理可能なもの、2)セキュリティ、異常検出などリアルタイム処理が必要なものの2つに大別されるが、技術的には両方に共通する課題も多い。よって本研究ではこれらを、A) 複数機器のブラインド同期と音声認識応用、B) 音光変換センサを併用したマルチモーダルセンシング、C) 音響シーン認識応用の3つの研究トラックに整理し、研究を進める。

研究実績の概要

2021年度は以下の成果を得た。
1) 音響シーン認識:分散マイクロホンによる観測の一部に欠損がある場合,欠損を模擬したモデル学習やAutoEncoderによる欠損の補完により,シーン分類性能低下を防ぐ手法を提案した。また,音響イベント検出と音響シーン認識を同時にモデル化し,音響イベントの弱ラベルを用いて相互に性能を高めあう学習法を提案した。ブリンキーを用いることを想定した end-to-end学習に基づく音響シーン認識についても検討を進めた。2) ブリンキーに基づく分散音響センシング:小規模DNNをブリンキー内で動作させることに成功した。また,光信号飽和時に伝達係数と信号を推定する手法を提案した。新たな展開として,音響信号から複数ブリンキーの光信号への変換を圧縮センシングと捉え,スパースなスペクトルを復元する手法を提案した。3) 非同期信号の同期技術:補助関数法を用いた複数時間差推定のオンライン化について検討した。また,この手法をサンプリング周波数ミスマッチの同時推定に拡張した。4) 微弱周期信号への動的同期加算:サンプリング周波数が微小に時間変動する環境下で微弱周期信号を強調する手法を,インパルス応答推定に応用した。さらに前年度収録したデータベースを用いて実環境での評価も行った。5) アレイ信号処理の発展:リアルタイム応用を想定し,因果性制約下近接分離最適化によりビームフォーマーを設計する手法を提案した。時間周波数線形結合ビームフォーマーについても最適なフィルタ数について検討を進めた。音場補間に基づく,マイクロホンアレイの回転に頑健なビームフォーミングを提案した。6) 実世界応用:自閉スペクトラム症診断のための対話音声の分散録音と分析について検討を進めた他,国立国語研究所が公開している日常会話コーパスに対して,ブラインド同期と音源分離による重畳音声の分離を試みた。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

2021年度も引き続き,コロナ禍の影響を強く受けつつ研究を進めることになったが,補助関数法を用いた複数時間差推定のサンプリング周波数ミスマッチの同時推定への拡張,音場補間ビームフォーマ,動的同期加算を用いた微弱周期信号の強調に基づくインパルス応答推定など,前年度の成果に基づく進展がみられたほか,分散マイクロホンアレイにおける欠損を補う手法の提案,シーン認識とイベント検出の同時モデリング,因果性ビームフォーマ,圧縮センシングによるスパーススペクトル復元など,新たな研究成果も複数得られた。また,国立国語研究所が作成した日常会話コーパスという,実環境での非同期分散収録データに対する重畳音声の分離も始めている。関連して,国立国語研究所 言語資源活用ワークショップで研究代表者の小野がオンライン招待講演を行った。また,国際会議APSIPA ASC2021において,Sadaoki Furui Prize Paper Award受賞,APSIPA Best Paper Award受賞,指導学生が日本音響学会学生優秀発表賞(2件)など,多くの受賞も得られ,おおむね順調に進展していると評価する。

今後の研究の推進方策

今年度の成果を受けて,今後以下のように研究を進める方針である。
1) 音響シーン認識については引き続き,分散マイクロホンアレイを用いた空間特徴量の効果的な活用,音響シーン認識とイベント検出の同時モデリング,欠損を補間する手法の進展などを目指す。2) ブリンキーに基づく分散音響センシングについては,伝達係数と信号の統一的な推定方法を実環境で評価するほか,新たな展開としてスマホをブリンキーとして用いることについて検討を進める。3) 非同期信号の同期技術は,サンプリング周波数ミスマッチが時間変動したり,信号に欠損がある場合についての検討を始める。4) アレイ信号処理の発展としては,因果的なビームフォーマーの設計の効率化,複数の時間差やサンプリング周波数ミスマッチ推定における効果的な初期値の決定法,音場補間のブラインド音源分離への適用などへ展開していく。実世界応用については,自閉スペクトラム症診断支援,日常会話コーパスの重畳音声分離を引き続き進展させるとともに,交通量モニタリングについても検討を再開する予定である。

報告書

(3件)
  • 2021 実績報告書
  • 2020 審査結果の所見   実績報告書

研究成果

(42件)

すべて 2022 2021 2020

すべて 雑誌論文 (15件) (うち査読あり 15件、 オープンアクセス 2件) 学会発表 (27件) (うち招待講演 1件)

  • [雑誌論文] Real-Time Pitch Visualization with “Blinky" Sound-to-Light Conversion Device2021

    • 著者名/発表者名
      Kanato Ishii, Yuma Kinoshita, Yukoh Wakabayashi, and Nobutaka Ono
    • 雑誌名

      信号処理

      巻: 25 号: 6 ページ: 213-220

    • DOI

      10.2299/jsp.25.213

    • NAID

      130008110101

    • ISSN
      1342-6230, 1880-1013
    • 年月日
      2021-11-01
    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Time-Frequency-Bin-Wise Linear Combination of Beamformers for Distortionless Signal Enhancement2021

    • 著者名/発表者名
      Kouei Yamaoka, Nobutaka Ono, and Shoji Makino
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 29 ページ: 3461-3475

    • DOI

      10.1109/taslp.2021.3126950

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Sharpening Directivity of Beamforming Based on Neural Networks Using Virtual Observations2021

    • 著者名/発表者名
      Yuki Kanekiyo, Mitsuhiro Mizumachi,?Ryoichi Miyazaki
    • 雑誌名

      Proc. GCCE

      巻: - ページ: 512-513

    • DOI

      10.1109/gcce53005.2021.9621789

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Phase representation based on HSV color model for acoustic classification with convolutional neural networks2021

    • 著者名/発表者名
      Yuki Shiroma, Yuma Kinoshita, Sayaka Shiota, and Hitoshi Kiya,
    • 雑誌名

      Proc. GCCE

      巻: - ページ: 427-429

    • DOI

      10.1109/gcce53005.2021.9621891

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Analysis on Roles of DNNs in End-to-End Acoustic Scene Analysis Framework with Distributed Sound-to-Light Conversion Devices2021

    • 著者名/発表者名
      Yuma Kinoshita and Nobutaka Ono
    • 雑誌名

      Proc. APSIPA

      巻: - ページ: 1167-1172

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Causal Distortionless Response Beamforming by Alternating Direction Method of Multipliers2021

    • 著者名/発表者名
      Yoshiki Masuyama, Kouei Yamaoka, Yuma Kinoshita, and Nobutaka Ono
    • 雑誌名

      Proc. APSIPA

      巻: - ページ: 585-590

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Investigation on Spatial and Frequency-based Features for Asynchronous Acoustic Scene Analysis2021

    • 著者名/発表者名
      Yuki Shiroma, Keisuke Imoto, Sayaka Shiota, Nobutaka Ono, and Hitoshi Kiya
    • 雑誌名

      Proc. APSIPA

      巻: - ページ: 1161-1166

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Pitch and Volume Stability in the Communicative Response of the Adults with Autism2021

    • 著者名/発表者名
      Keiko Ochi, Masaki Kojima, Keiho Owada, Nobutaka Ono, Shigeki Sagayama, and Hidenori Yamasue
    • 雑誌名

      Proc. APSIPA

      巻: - ページ: 428-432

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] End-to-End Training for Acoustic Scene Analysis with Distributed Sound-to-Light Conversion Devices2021

    • 著者名/発表者名
      Yuma Kinoshita and Nobutaka Ono
    • 雑誌名

      Proc. EUSIPCO

      巻: - ページ: 1010-1014

    • DOI

      10.23919/eusipco54536.2021.9616341

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Rotation-robust beamforming based on sound field interpolation with regularly circular microphone array2021

    • 著者名/発表者名
      Yukoh Wakabayashi, Kouei Yamaoka, and Nobutaka Ono
    • 雑誌名

      Proc. ICASSP

      巻: - ページ: 771-775

    • DOI

      10.1109/icassp39728.2021.9414196

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Voice Activity Detection for Speech Dialog Recorded by Two Distributed Microphones Towards Diagnosis of Autism Spectrum Disorder2021

    • 著者名/発表者名
      Hideto Kawauchi, Yukoh Wakabayashi, Nobutaka Ono, Keiko Ochi, Keiho Owada, Masaki Kojima, Shigeki Sagayama, and Hidenori Yamasue
    • 雑誌名

      Proc. NCSP

      巻: - ページ: 361-364

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] Real-Time Pitch Visualization Using Sound-Light Conversion Device "Blinky"2021

    • 著者名/発表者名
      Kanato Ishii, Yuma Kinoshita, Yukoh Wakabayashi, and Nobutaka Ono
    • 雑誌名

      Proc. NCSP

      巻: - ページ: 101-104

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] Dynamic synchronous averaging for enhancement of periodic signal under sampling frequency variation2020

    • 著者名/発表者名
      Kyosuke Sumiyoshi, Yukoh Wakabayashi, and Nobutaka Ono
    • 雑誌名

      Proc. APSIPA

      巻: - ページ: 863-868

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] Experimental investigation of robustness of spatial cepstrum features under various conditions2020

    • 著者名/発表者名
      Taiga Kawamura, Ryoichi Miyazaki, Keisuke Imoto, and Nobutaka Ono
    • 雑誌名

      Proc. APSIPA

      巻: - ページ: 701-704

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] Energy-Based Multiple Source Localization with Blinkies2020

    • 著者名/発表者名
      Daiki Horiike, Robin Scheibler, Yuma Kinoshita, Yukoh Wakabayashi, and Nobutaka Ono
    • 雑誌名

      Proc. APSIPA

      巻: - ページ: 443-448

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [学会発表] 『日本語日常会話コーパス』における発話の重なり分析とそれに対する音源分離の検討2022

    • 著者名/発表者名
      南木 春希, 山岡 洸瑛, 若林 佑幸, 小野 順貴
    • 学会等名
      シンポジウム「日常会話コーパス」Ⅶ
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 自己符号化器を用いた多チャンネル信号の欠損復元法と環境音分類における評価2022

    • 著者名/発表者名
      城間 佑樹, 木下 裕磨, 井本 桂右, 塩田 さやか, 小野 順貴, 貴家 仁志
    • 学会等名
      電気音響/応用音響研究会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 弱ラベルを用いた音響シーンとイベントの同時分析2022

    • 著者名/発表者名
      椿 竣介,宇都 瑛祐,井本 桂右,小野 順貴
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 音光変換デバイス「ブリンキー」を用いた振幅スペクトルの圧縮センシング2022

    • 著者名/発表者名
      本山 智司, 石井 奏人, 植野 夏樹, 木下 裕磨, 小野 順貴
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 補助関数法を用いた複数時間差のオンライン推定2022

    • 著者名/発表者名
      山岡 洸瑛, 中嶋 大志, 若林 佑幸, 小野 順貴
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 補助関数法による複数の非同期録音信号のブラインド同期2022

    • 著者名/発表者名
      升山 義紀, 山岡 洸瑛, 小野 順貴
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 音光変換デバイス「ブリンキー」の光信号飽和時における伝達係数と信号の推定2022

    • 著者名/発表者名
      西田 光佑, 石井 奏人, 植野 夏樹, 木下 裕磨, 小野 順貴
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 非同期分散マイクロフォンを活用する音響信号処理2021

    • 著者名/発表者名
      小野順貴
    • 学会等名
      言語資源活用ワークショップ
    • 関連する報告書
      2021 実績報告書
    • 招待講演
  • [学会発表] 円状マイクロホンアレイを利用した音場補間によるステアリングベクトル補間への応用2021

    • 著者名/発表者名
      若林 佑幸, 山岡 洸瑛, 小野 順貴
    • 学会等名
      日本音響学会秋季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 時間周波数線形結合ビームフォーマの空間フィルタ数に対する音源強調性能の評価2021

    • 著者名/発表者名
      山岡 洸瑛, 小野 順貴
    • 学会等名
      日本音響学会秋季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 因果的MPDRビームフォーマの近接分離最適化による設計2021

    • 著者名/発表者名
      升山 義紀, 山岡 洸瑛, 木下 裕磨, 小野 順貴
    • 学会等名
      日本音響学会秋季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 微弱周期信号と動的同期加算を用いたサンプリング周波数変動下でのインパルス応答推定2021

    • 著者名/発表者名
      住吉 亨介, 山岡 洸瑛, 若林 佑幸, 小野 順貴
    • 学会等名
      日本音響学会秋季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 深層学習に基づく楽器音分類のための画像分類ネットワークを用いたファインチューニング2021

    • 著者名/発表者名
      城間 佑樹, 木下 裕磨, 塩田 さやか, 貴家 仁志
    • 学会等名
      音学シンポジウム
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 非同期会話録音に対する時間周波数マスキングと独立ベクトル分析を用いた音源分離の検討2021

    • 著者名/発表者名
      南木 春希, 山岡 洸瑛, 若林 佑幸, 小野 順貴
    • 学会等名
      音学シンポジウム
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 直交検波を用いた音光変換デバイス「ブリンキー」のLEDの位置推定2021

    • 著者名/発表者名
      佐藤 直哉, 若林 佑幸, 木下 裕磨, 小野 順貴
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 音光変換デバイス「ブリンキー」を用いた音響信号処理のための信号伝搬シミュレータ2021

    • 著者名/発表者名
      岩本 基裕, 木下 裕磨, 若林 佑幸, 小野 順貴
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 音場補間に基づく円状マイクロフォンアレイの自己回転角度推定2021

    • 著者名/発表者名
      連 冠三, 中嶋 大志, 若林 佑幸, 小野 順貴
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 音場補間を用いた円状マイクロホンアレイの回転に頑健なビームフォーミング2021

    • 著者名/発表者名
      若林 佑幸, 小野 順貴
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 音光変換デバイス「ブリンキー」の信号伝搬過程を考慮したEnd-to-End音響シーン分析2021

    • 著者名/発表者名
      木下 裕磨, 小野 順貴
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 補助関数法に基づく複数のチャネル間時間差の同時推定2021

    • 著者名/発表者名
      山岡 洸瑛, 小野 順貴
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 分散マイクロホンアレイにおけるDOAパーミュテーションの反復更新による複数音源定位2021

    • 著者名/発表者名
      田中 一希, 若林 佑幸, 小野 順貴, 宮崎 亮一
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] ヴァーチャル観測信号を用いたニューラルネットワークビームフォーマの指向特性先鋭化2021

    • 著者名/発表者名
      金清祐紀,水町光徳,宮崎亮一
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 実環境におけるマイクロホンの移動に対する空間ケプストラムの頑健性の調査2020

    • 著者名/発表者名
      河村 泰雅, 宮崎 亮一, 井本 桂右
    • 学会等名
      日本音響学会秋季研究発表会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 深層自己符号化器に基づく音響特徴量の離散符号化2020

    • 著者名/発表者名
      木下 裕磨, 小野 順貴
    • 学会等名
      日本音響学会秋季研究発表会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 回転移動に頑健なアレイ信号処理のための音場の補間に関する一検討2020

    • 著者名/発表者名
      若林 佑幸, 小野 順貴
    • 学会等名
      日本音響学会秋季研究発表会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 連続値マスクを用いた複数MVDRビームフォーマの組み合わせによる劣決定音声強調2020

    • 著者名/発表者名
      山岡 洸瑛, 小野 順貴
    • 学会等名
      日本音響学会秋季研究発表会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] ステレオ分散録音された対話音声に対するDNNを用いた発話区間検出2020

    • 著者名/発表者名
      河内 秀人, 若林 佑幸, 小野 順貴, 越智 景子, 大和田 啓峰, 児島 正樹, 嵯峨山 茂樹, 山末 英典
    • 学会等名
      音学シンポジウム
    • 関連する報告書
      2020 実績報告書

URL: 

公開日: 2020-04-28   更新日: 2023-07-19  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi