• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実績報告書

分散音響センシングと非同期時系列モデリングに基づく音声・音響シーン認識の革新

研究課題

研究課題/領域番号 20H00613
研究機関東京都立大学

研究代表者

小野 順貴  東京都立大学, システムデザイン研究科, 教授 (80334259)

研究分担者 須山 章子 (荒木章子)  日本電信電話株式会社NTTコミュニケーション科学基礎研究所, メディア情報研究部, 主幹研究員 (30396212)
井本 桂右  同志社大学, 理工学部, 准教授 (90802116)
塩田 さやか  東京都立大学, システムデザイン研究科, 准教授 (90705039)
宮崎 亮一  徳山工業高等専門学校, 情報電子工学科, 准教授 (40734728)
研究期間 (年度) 2020-04-01 – 2024-03-31
キーワード非同期 / 分散音響センシング / 音源分離 / 音声認識 / 音響シーン認識
研究実績の概要

本研究では研究トラックを、A)複数機器のブラインド同期と音声認識応用、B) 音光変換センサを併用したマルチモーダルセンシング、C) 音響シーン認識応用の3つの研究トラックに整理し、研究を進めてきた。主要な成果を以下にまとめる。
A)では、我々が「音響オブジェクト」と呼ぶ、事前に信号波形が入手可能な信号(例えば、商用音楽信号、携帯の着信音、各種報知音など)を、ブラインド同期に基づきモノラル録音から分離する手法を確立した。また、3台以上の録音機器に対し、特定の参照機器とその他の機器ののみのペアを考えるのではなく、全ての機器ペア間の同期を同時最適化として解く効率的なアルゴリズムを導出し、有効性を確認した。さらに、動的計画法により欠損ありの信号に対してブラインド同期を行う新たな手法を導出した。また、高精度音声認識を目指し、自己教師あり学習に基づく音声分離と認識の統合を、米国CMUと共同研究として行った。
B)では音光変換デバイス「ブリンキー」の研究を進め、光信号飽和時の信号検出方法として非負値行列因子分解を用いた方法を新たに考案した。また、ビデオカメラとブリンキーの間の距離や角度に応じた光信号のキャリブレーションを不要とするため、スマホアプリとして音光変換を行い、スマホ画面の空間パターンで信号を伝送する新たなデジタル方式のブリンキーを創出した。
C)では、多チャンネル録音の部分的欠損に頑健な音響シーン認識、距離に基づく音源分離を用いた環境音分類など、新たな観点からの展開や、音による交通量モニタリングという実応用への検討を進めた。
この他にも、動物の発声分類、音源やマイクの移動に頑健な音源分離、エイリアス信号のブラインド分離、イベント検出とシーン認識の同時最適化など、多方面に研究を展開した。

現在までの達成度 (段落)

令和5年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和5年度が最終年度であるため、記入しない。

  • 研究成果

    (29件)

すべて 2024 2023 その他

すべて 国際共同研究 (1件) 雑誌論文 (17件) (うち国際共著 1件、 査読あり 17件、 オープンアクセス 7件) 学会発表 (11件) (うち招待講演 1件)

  • [国際共同研究] Carnegie Mellon University(米国)

    • 国名
      米国
    • 外国機関名
      Carnegie Mellon University
  • [雑誌論文] Refining Knowledge Transfer on Audio-Image Temporal Agreement for Audio-Text Cross Retrieval2024

    • 著者名/発表者名
      Shunsuke Tsubaki, Daisuke Niizumi, Daiki Takeuchi, Yasunori Ohishi, Noboru Harada, and Keisuke Imoto
    • 雑誌名

      Proc. EUSIPCO

      巻: - ページ: 1-5

    • 査読あり
  • [雑誌論文] Efficient Joint Optimization of Sampling Rate Offsets Using Entire Multichannel Signal2023

    • 著者名/発表者名
      Yoshiki Masuyama, Kouei Yamaoka, Takao Kawamura, and Nobutaka Ono
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 32 ページ: 1816-1828

    • DOI

      10.1109/TASLP.2024.3369532

    • 査読あり / オープンアクセス
  • [雑誌論文] Objective Assessment of Autism Spectrum Disorder Based on Performance in Structured Interpersonal Acting-Out Tasks with Prosodic Stability and Variability2023

    • 著者名/発表者名
      Keiko Ochi, Masaki Kojima, Nobutaka Ono, Miho Kuroda, Keiho Owada, Shigeki Sagayama, and Hidenori Yamasue
    • 雑誌名

      Autism Research

      巻: 17 ページ: 395-409

    • DOI

      10.1002/aur.3080

    • 査読あり
  • [雑誌論文] Causal and Relaxed-Distortionless Response Beamforming for Online Target Source Extraction2023

    • 著者名/発表者名
      Yoshiki Masuyama, Kouei Yamaoka, Yuma Kinoshita, Taishi Nakashima, and Nobutaka Ono
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 32 ページ: 310-324

    • DOI

      10.1109/TASLP.2023.3329377

    • 査読あり / オープンアクセス
  • [雑誌論文] Minimum-Spanning-Tree-Based Time Delay Estimation Robust to Outliers2023

    • 著者名/発表者名
      Kouei Yamaoka, Taishi Nakashima, Yukoh Wakabayashi, and Nobutaka Ono
    • 雑誌名

      IEEE Access

      巻: 11 ページ: 121284-121294

    • DOI

      10.1109/ACCESS.2023.3327011

    • 査読あり / オープンアクセス
  • [雑誌論文] Acoustic Object Canceller: Removing Known Signal Using Blind Syncronization2023

    • 著者名/発表者名
      Takao Kawamura, Kouei Yamaoka, Yukoh Wakabayashi, Nobutaka Ono, and Ryoichi Miyazaki
    • 雑誌名

      EURASIP Journal on Audio, Speech, and Music Processing

      巻: - ページ: 1-16

    • DOI

      10.1186/s13636-023-00300-y

    • 査読あり / オープンアクセス
  • [雑誌論文] Sound Field Interpolation for Rotation-invariant Multichannel Array Signal Processing2023

    • 著者名/発表者名
      Yukoh Wakabayashi, Kouei Yamaoka, and Nobutaka Ono
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 31 ページ: 2286-2298

    • DOI

      10.1109/TASLP.2023.3282098

    • 査読あり / オープンアクセス
  • [雑誌論文] Missing data completion of multi-channel signals using autoencoder for acoustic scene classification2023

    • 著者名/発表者名
      Yuki Shiroma, Yuma Kinoshita, Keisuke Imoto, Sayaka Shiota, Nobutaka Ono, and Hitoshi Kiya
    • 雑誌名

      APSIPA Transactions on Signal and Information Processing

      巻: 12 ページ: 1-22

    • DOI

      10.1561/116.00000074

    • 査読あり / オープンアクセス
  • [雑誌論文] Joint Analysis of Acoustic Scenes and Sound Events Based on Multitask Learning with Dynamic Weight Adaptation2023

    • 著者名/発表者名
      Kayo Nada, Keisuke Imoto, and Takao Tsuchiya
    • 雑誌名

      Acoustical Science and Technology

      巻: 44 ページ: 167-175

    • DOI

      10.1250/ast.44.167

    • 査読あり / オープンアクセス
  • [雑誌論文] Augmentation of Various Speed Data by Controlling Frame Overlap for Acoustic Traffic Monitoring2023

    • 著者名/発表者名
      Tomohiro Takahashi, Yuma Kinoshita, Natsuki Ueno, Yukoh Wakabayashi, Nobutaka Ono, Jun Honda, Seishi Fukuma, Aoi Kitamori, Hiroshi Nakagawa
    • 雑誌名

      Proc. APSIPA ASC

      巻: - ページ: 2068-2072

    • DOI

      10.1109/APSIPAASC58517.2023.10317558

    • 査読あり
  • [雑誌論文] Automatic Call Classification of Autism Model Marmosets by Deep Learning and Analysis of Their Vocal Development2023

    • 著者名/発表者名
      Minato Uesaka, Hideto Kawauchi, Kouei Yamaoka, Yukoh Wakabayashi, Yuma Kinoshita, Nobutaka Ono, Jun Noguchi, Satoshi Watanabe, Noritaka Ichinohe, Seico Benner, Hidenori Yamasue
    • 雑誌名

      Proc. APSIPA ASC

      巻: - ページ: 2214-2218

    • DOI

      10.1109/APSIPAASC58517.2023.10317121

    • 査読あり
  • [雑誌論文] Exploring the integration of speech separation and recognition with self-supervised learning representation2023

    • 著者名/発表者名
      Yoshiki Masuyama, Xuankai Chnag, Wangyou Zhang, Samuele Cornell, Zhong-Qiu Wang, Nobutaka Ono, Yanmin Qian, Shinji Watanabe
    • 雑誌名

      Proc. WASPAA

      巻: - ページ: 1-5

    • DOI

      10.1109/WASPAA58266.2023.10248096

    • 査読あり / 国際共著
  • [雑誌論文] Signal Reconstruction from Mel-spectrogram Based on Bi-level Consistency of Full-band Magnitude and Phase2023

    • 著者名/発表者名
      Yoshiki Masuyama, Natsuki Ueno, Nobutaka Ono
    • 雑誌名

      Proc. WASPAA

      巻: - ページ: 1-5

    • DOI

      10.1109/WASPAA58266.2023.10248111

    • 査読あり
  • [雑誌論文] Acoustic Traffic Monitoring Based on Deep Neural Network Trained by Stereo-Recorded Sound and Sensor Data2023

    • 著者名/発表者名
      Tomohiro Takahashi, Yuma Kinoshita, Yukoh Wakabayashi, and Nobutaka Ono, Jun Honda, Seishi Fukuma, Aoi Kitamori and Hiroshi Nakagawa
    • 雑誌名

      Proc. EUSIPCO

      巻: - ページ: 1-5

    • DOI

      10.23919/EUSIPCO58844.2023.10290031

    • 査読あり
  • [雑誌論文] Unaliasing of Recorded Signals Based on Blind Source Separation2023

    • 著者名/発表者名
      Yuki Nakamura, Nobutaka Ono, Taishi Nakashima, Ryoichi Miyazaki
    • 雑誌名

      Proc. EUSIPCO

      巻: - ページ: 1-5

    • DOI

      10.23919/EUSIPCO58844.2023.10290097

    • 査読あり
  • [雑誌論文] Fast Online Source Steering Algorithm for Tracking Single Moving Source Using Online Independent Vector Analysis2023

    • 著者名/発表者名
      Taishi Nakashima, Rintaro Ikeshita, Nobutaka Ono, Shoko Araki, and Tomohiro Nakatani
    • 雑誌名

      Proc. ICASSP

      巻: - ページ: 1-5

    • DOI

      10.1109/ICASSP49357.2023.10094962

    • 査読あり
  • [雑誌論文] Joint Analysis of Acoustic Scenes and Sound Events Based on Semi-Supervised Approach2023

    • 著者名/発表者名
      Ami Igarashi, Shunsuke Tsubaki, Daisuke Niizumi, Daiki Takeuchi, Noboru Harada, and Keisuke Imoto
    • 雑誌名

      Proc. APSIPA ASC

      巻: - ページ: 2050-2056

    • DOI

      10.1109/APSIPAASC58517.2023.10317353

    • 査読あり
  • [学会発表] 非負値行列因子分解を用いた音光変換デバイス「ブリンキー」の光信号飽和時における伝達係数と信号の同時推定2024

    • 著者名/発表者名
      西田光佑,植野夏樹,小野順貴,北村大地
    • 学会等名
      SPEASIPワークショップ
  • [学会発表] 日常会話の発話重畳分析と非同期分散録音に対するオンライン独立ベクトル分析による分離の検討2024

    • 著者名/発表者名
      南木春希,中嶋大志,山岡洸瑛,若林佑幸,小野順貴
    • 学会等名
      SPEASIPワークショップ
  • [学会発表] これから始める環境音分析・合成2024

    • 著者名/発表者名
      井本 桂右
    • 学会等名
      SPEASIPワークショップ
    • 招待講演
  • [学会発表] アノテータごとのばらつきを考慮した音響イベント検出2024

    • 著者名/発表者名
      古賀 直樹, 坂東 宣昭, 井本 桂右
    • 学会等名
      情報処理学会 第86回全国大会
  • [学会発表] スマートフォン上での音光変換を用いた音響情報のデジタル伝送2024

    • 著者名/発表者名
      今村瑛月, 河村隆生, 山田健太, 植野夏樹, 小野順貴
    • 学会等名
      日本音響学会2024年春季研究発表会
  • [学会発表] 相互相関と動的計画法を用いた欠損のある信号のブラインド同期2024

    • 著者名/発表者名
      竹内駿人, 河村隆生, 植野夏樹, 小野順貴
    • 学会等名
      日本音響学会2024年春季研究発表会
  • [学会発表] 残響環境下におけるエイリアス成分の分離に有効なパーミュテーション解法の検討2024

    • 著者名/発表者名
      中村 優希, 宮崎 亮一, 小野 順貴
    • 学会等名
      日本音響学会2024年春季研究発表会
  • [学会発表] 環境音分析における事前学習済みモデルのバイアス調査2024

    • 著者名/発表者名
      井上 かほり, 井本 桂右
    • 学会等名
      日本音響学会2024年春季研究発表会
  • [学会発表] フレームシフトの調整による低速度域車両走行音のデータ拡張2023

    • 著者名/発表者名
      高橋知宏, 木下裕磨, 植野夏樹, 若林佑幸, 小野順貴, 本多潤, 福馬誠士, 北森葵, 中川浩
    • 学会等名
      日本音響学会2023年秋季研究発表会
  • [学会発表] 距離に基づく音源分離を用いたシングルチャンネル環境音分類2023

    • 著者名/発表者名
      小倉 稜也, 井本 桂右, 貴家 仁志, 塩田 さやか
    • 学会等名
      日本音響学会2023年秋季研究発表会
  • [学会発表] Voice-to-foley: 環境音を模倣した音声を入力とする環境音合成2023

    • 著者名/発表者名
      岡本 悠希, 井本 桂右, 高道 慎之介, 永瀬 亮太郎, 福森 隆寛, 山下 洋一
    • 学会等名
      日本音響学会2023年秋季研究発表会

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi