• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実施状況報告書

非同期分散マイクアレイにおけるキャリブレーションフリーモデルの研究

研究課題

研究課題/領域番号 19K12017
研究機関東京工業大学

研究代表者

糸山 克寿  東京工業大学, 工学院, 特任講師 (60614451)

研究期間 (年度) 2019-04-01 – 2022-03-31
キーワード音響信号処理 / マイクロホンアレイ / キャリブレーション / 音源定位 / 音源分離
研究実績の概要

本研究課題では,キャリブレーション(マイクロホンやマイクロホンアレイのサンプリング周波数や位置のずれを精密な測定により事前に補正すること)を行わずに非同期分散マイクアレイ(複数のマイクロホンを同期させて用いるデバイスであるマイクロホンアレイに対して,独立した複数のマイクロホンをあたかもマイクロホンアレイであるかのように扱う)に対して音源定位や音源分離などのアレイ信号処理を実現することを目指す.具体的に,令和2年度は以下について取り組んだ.
・非同期複数マイクロホンにより録音された複数音源の混合音を用いて,各マイクロホンのサンプリング周波数のずれとサンプル時刻のずれを推定し同期させる新たな手法を構築した.適切なサンプリング周波数のずれと時刻ずれのもとで同期処理を行うと,同期された信号のスペクトログラムを全チャネルで束ねた行列が低ランク化されるという性質に基づき,緩和されたランク最小化問題を解くことでずれの推定を行う.
・マイクロホンアレイの位置と姿勢,および音源の位置を推定する手法について研究した.既存の推定手法を実装したところ,多くの観測に対して望ましくない局所解に収束してしまい正しい位置や姿勢が推定されない.2つに分かれていた目的関数を見直し,1つの目的関数に統合することで,局所解に陥りにくい手法を構築した.
これらの研究は,「センサアレイを構築するために必要な時間的同期やキャリブレーションと等価な前提条件は何か?」という学術的「問い」の解明に向けた第一のステップとしての意義を持つ.これらの手法に基づいて,様々な前提条件がセンサアレイ構築に対して寄与する度合いを調査することで,アレイ信号処理の適用範囲が広がることが期待される.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

令和2年度の取り組みとして当初計画していた,前提条件の定量的評価やオンライン化は行えなかったものの,同期ずれ推定の新たな手法(低ランク化)やマイクロホンアレイと音源の位置・姿勢推定手法など,新たな方向性での研究が進展したため,おおむね順調に進捗していると考える.

今後の研究の推進方策

同期手法や位置・姿勢推定手法の実環境における評価を行う.また,当初は令和2年度に取り組むことを計画していた同期・定位・分離手法の統合についても取り組む.

次年度使用額が生じた理由

コロナ禍の影響で旅費が執行できず,また屋外実験等が行えなかったため.次年度に屋外実験用装置等を購入する.

  • 研究成果

    (24件)

すべて 2021 2020

すべて 雑誌論文 (2件) (うち査読あり 2件) 学会発表 (19件) (うち国際学会 7件) 図書 (1件) 産業財産権 (2件)

  • [雑誌論文] Detecting earthquakes: a novel deep learning-based approach for effective disaster response2021

    • 著者名/発表者名
      Shakeel Muhammad、Itoyama Katsutoshi、Nishida Kenji、Nakadai Kazuhiro
    • 雑誌名

      Applied Intelligence

      巻: 51 ページ: 8305~8315

    • DOI

      10.1007/s10489-021-02285-7

    • 査読あり
  • [雑誌論文] Bayesian Singing Transcription Based on a Hierarchical Generative Model of Keys, Musical Notes, and F0 Trajectories2020

    • 著者名/発表者名
      Nishikimi Ryo、Nakamura Eita、Goto Masataka、Itoyama Katsutoshi、Yoshii Kazuyoshi
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 28 ページ: 1678~1691

    • DOI

      10.1109/TASLP.2020.2996095

    • 査読あり
  • [学会発表] Sound Source Tracking Using Integrated Direction Likelihood for Drones with Microphone Arrays2021

    • 著者名/発表者名
      Taiki Yamada, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • 学会等名
      2021 IEEE/SICE International Symposium on System Integration (SII)
    • 国際学会
  • [学会発表] EMC: Earthquake Magnitudes Classification on Seismic Signals via Convolutional Recurrent Networks2021

    • 著者名/発表者名
      Muhammad Shakeel, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • 学会等名
      2021 IEEE/SICE International Symposium on System Integration (SII)
    • 国際学会
  • [学会発表] Multi-channel Environmental Sound Segmentation utilizing Sound Source Localization and Separation U-Net2021

    • 著者名/発表者名
      Yui Sudo, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • 学会等名
      2021 IEEE/SICE International Symposium on System Integration (SII)
    • 国際学会
  • [学会発表] Assessment of a Beamforming Implementation Developed for Surface Sound Source Separation?A2021

    • 著者名/発表者名
      Zhi Zhong, Muhammad Shakeel, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • 学会等名
      2021 IEEE/SICE International Symposium on System Integration (SII)
    • 国際学会
  • [学会発表] 複数マイクロホンアレイの同期および位置・姿勢推定の同時最適化の検討2021

    • 著者名/発表者名
      杉山 地塩, 糸山 克寿, 西田 健次, 中臺 一博
    • 学会等名
      情報処理学会 第83回全国大会
  • [学会発表] アンサンブル時間周波数マスクによる音声強調手法の検討2021

    • 著者名/発表者名
      藤田 雅彦, 糸山 克寿, 西田 健次, 中臺 一博
    • 学会等名
      情報処理学会 第83回全国大会
  • [学会発表] Detection of ball spin direction using hitting sound in tennis2020

    • 著者名/発表者名
      Naoki Yamamoto, Kenji Nishida, Katsutoshi Itoyama, Kazuhiro Nakadai
    • 学会等名
      8th International Conference on Sport Sciences Research and Technology Support (isSPORTS 2020)
    • 国際学会
  • [学会発表] Synchronization of microphones based on rank minimization of warped spectrum for asynchronous distributed recording2020

    • 著者名/発表者名
      Katsutoshi Itoyama, Kazuhiro Nakadai
    • 学会等名
      2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS2020)
    • 国際学会
  • [学会発表] Onset-informed source separation using non-negative matrix factorization with binary masks2020

    • 著者名/発表者名
      Yuta Kusaka, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • 学会等名
      23rd International Conference on Digital Audio Effects (DAFx2020)
    • 国際学会
  • [学会発表] 表情による感情推定と音声による感情推定手法の検討2020

    • 著者名/発表者名
      西田 健次, 山田 亨, 糸山 克寿, 中臺 一博
    • 学会等名
      第57回 人工知能学会 AIチャレンジ研究会
  • [学会発表] テニスにおける打球音を用いた打球回転方向の識別?A2020

    • 著者名/発表者名
      山本 修己, 糸山 克寿, 西田 健次, 中臺 一博
    • 学会等名
      第57回 人工知能学会 AIチャレンジ研究会
  • [学会発表] マイクロホン位置と音源スペクトルの確率モデルに基づくマイクロホンアレイのキャリブレーション2020

    • 著者名/発表者名
      段 雄啓, 糸山 克寿, 西田 健次, 中臺 一博
    • 学会等名
      第57回 人工知能学会 AIチャレンジ研究会
  • [学会発表] バイナリマスク付き非負値行列因子分解に基づく発音時刻を用いた音源分離?A2020

    • 著者名/発表者名
      日下 湧太, 糸山 克寿, 西田 健次, 中臺 一博
    • 学会等名
      第57回 人工知能学会 AIチャレンジ研究会
  • [学会発表] マイクロホンアレイ搭載ドローンによる音源方向尤度統合に基づく音源追跡?A2020

    • 著者名/発表者名
      山田 泰基, 糸山 克寿, 西田 健次, 中臺 一博
    • 学会等名
      第57回 人工知能学会 AIチャレンジ研究会
  • [学会発表] テニスの打球音による球種識別の検討?A2020

    • 著者名/発表者名
      山本 修己, 糸山 克寿, 西田 健次, 中臺 一博
    • 学会等名
      第38回 日本ロボット学会学術講演会 (RSJ2020)
  • [学会発表] 重み付け尤度関数と定在波を用いた可聴音による二次元環境認識?A2020

    • 著者名/発表者名
      岸波 華彦, 糸山 克寿, 西田 健次, 中臺 一博
    • 学会等名
      第38回 日本ロボット学会学術講演会 (RSJ2020)
  • [学会発表] 環境音情報と画像情報を用いた物体検出による音ラベル付きセグメントの生成?A2020

    • 著者名/発表者名
      鈴木 啓, 糸山 克寿, 西田 健次, 中臺 一博
    • 学会等名
      第38回 日本ロボット学会学術講演会 (RSJ2020)
  • [学会発表] 複数マイクロホンアレイを用いたNMFによる空間音源分離法の提案と評価?A2020

    • 著者名/発表者名
      鍵本 泰宏, 糸山 克寿, 西田 健次, 中臺 一博
    • 学会等名
      第38回 日本ロボット学会学術講演会 (RSJ2020)
  • [学会発表] 伸縮スペクトルのランク最小化の緩和に基づくチャネル間同期?A2020

    • 著者名/発表者名
      糸山 克寿, 中臺 一博
    • 学会等名
      第38回 日本ロボット学会学術講演会 (RSJ2020)
  • [図書] Calibration of a Microphone Array Based on a Probabilistic Model of Microphone Positions. In: Fujita H., Fournier-Viger P., Ali M., Sasaki J. (eds) Trends in Artificial Intelligence Theory and Applications2020

    • 著者名/発表者名
      Katsuhiro Dan, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • 総ページ数
      11
    • 出版者
      Springer
    • ISBN
      978-3-030-55788-1
  • [産業財産権] 音響処理装置、音響処理システム、音響処理方法およびプログラム2021

    • 発明者名
      杉山 地塩, 糸山 克寿, 中臺 一博, 西田 健次
    • 権利者名
      本田技研工業株式会社
    • 産業財産権種類
      特許
    • 産業財産権番号
      特願2021-031527
  • [産業財産権] 音声強調装置、音声強調方法、およびプログラム2021

    • 発明者名
      藤田 雅彦, 糸山 克寿, 中臺 一博, 西田 健次
    • 権利者名
      本田技研工業株式会社
    • 産業財産権種類
      特許
    • 産業財産権番号
      特願2021-032585

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi