• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

共演者音楽ロボット実現のための音響信号に基づく音楽インタラクション手法の開発

研究課題

研究課題/領域番号 11J06577
研究種目

特別研究員奨励費

配分区分補助金
応募区分国内
研究分野 知覚情報処理・知能ロボティクス
研究機関京都大学

研究代表者

大塚 琢馬  京都大学, 情報学研究科, 特別研究員(DC1)

研究期間 (年度) 2011 – 2014-03-31
研究課題ステータス 完了 (2013年度)
配分額 *注記
1,900千円 (直接経費: 1,900千円)
2013年度: 600千円 (直接経費: 600千円)
2012年度: 600千円 (直接経費: 600千円)
2011年度: 700千円 (直接経費: 700千円)
キーワードマクロホンアレイ / ノンパラメトリックベイズ / ロボット聴覚 / 音環境理解 / マイクロホンアレイ / ベイズモデル / 音源定位・分離 / 残響除去 / 楽譜追従 / ベイズトピックモデル
研究概要

本研究では, 共演者音楽ロボットをはじめ, 音を聴くロボットに対して必須の技術である, 様々な音の聴き分け技術を, マイクロフォンアレイを通じて実現する. 従来のマイクロフォンアレイ処理は, 入力混合音や音源が存在する環境に対して様々な仮定や制約を設ける手法が多かった. 例えば, 入力混合音に含まれる音源の数を既知とすることや, 環境中の壁や床での音の反射に由来する残響に関するパラメータを既知とする場合があった.
本研究では, ロボットが音を聴く環境に関する未知要因を柔軟に扱うため, ベイズ統計モデルに基づく確率的なマイクロフォンアレイ処理の定式化を行い, 音源数や残響の量が未知である場合でも, 状況に応じたパラメータチューニングなどが不要な手法を開発した. 具体的には, ノンパラメトリックベイズモデルを適用することで, (1)音源数が未知という課題に対しては, 音源数に応じたモデルの複雑さの選択を回避し, (2)残響の量に応じて自己回帰モデルの次数を手動でチューニングする必要を除いた. 本研究の貢献は, マイクロフォンアレイ処理でよく実現される3つの機能(a)音源分離, (b)音源定位, (c)残響除去をノンパラメトリックベイズに基づく統一モデルとして定式化し, その有効性を示した点である.
これらの成果のうち, 混合音の分離処理に関する手法は査読付き英文論文誌に発表された. さらに, 本手法を残響除去が可能なモデルへと拡張した成果も英文論文誌に投稿, 現在査読中である. また, これら一連の成果は博士論文にまとめた.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

ロボットは多様な音環境においても頑健に音を聴き分け, 理解するという目的に対し, 頑健な音の聴き分け手法の開発を行うことができた.

今後の研究の推進方策

混合音から分離抽出(聴き分け)した音に対し, 音高抽出や音声認識, 音源同定などの音環境理解へと発展させることが重要である. 従来の音に関するパターン認識問題では, 音響特徴量は音源分離などの歪みを伴う処理に対して脆弱であった, その点への対処が今後の大きな課題である.

報告書

(3件)
  • 2013 実績報告書
  • 2012 実績報告書
  • 2011 実績報告書
  • 研究成果

    (18件)

すべて 2014 2013 2012 2011 その他

すべて 雑誌論文 (6件) (うち査読あり 6件) 学会発表 (10件) 備考 (1件) 産業財産権 (1件)

  • [雑誌論文] Bayesian Nonparametries for Microphone Array Processing2014

    • 著者名/発表者名
      T. Otsuka, et al.
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech and Language Processing

      巻: 22 : 2 号: 2 ページ: 493-504

    • DOI

      10.1109/taslp.2013.2294582

    • 関連する報告書
      2013 実績報告書
    • 査読あり
  • [雑誌論文] Spatio-Temporal Dynamics in Collective Frog Choruses Examined by Mathematical Modeling and Field Observation2014

    • 著者名/発表者名
      I. Aihara, et al.
    • 雑誌名

      Scientific Reports

      巻: 4 : 3891 号: 1 ページ: 3891-3891

    • DOI

      10.1038/srep03891

    • 関連する報告書
      2013 実績報告書
    • 査読あり
  • [雑誌論文] Nonparametrie Bayesina Sparse Factor Analysis for Frequency Doain Blind Source Separation without Pearmuat ion Ambisuity2013

    • 著者名/発表者名
      Kohei Nagira, Takuma Otsuka, Hiroshi G. Okuno
    • 雑誌名

      EURASIP Journal on Audio, Speech, and Music Processing

      巻: 2013(4) 号: 1 ページ: 14-14

    • DOI

      10.1186/1687-4722-2013-4

    • 関連する報告書
      2012 実績報告書
    • 査読あり
  • [雑誌論文] Infinite Sparse Factor Analys for Blind Source Separation in Reverberant Environments2012

    • 著者名/発表者名
      Kohei Nagira, Takuma Otsuka, Tetsuya Ogata, Hiroshi G. Okuno
    • 雑誌名

      Lecture Notes in Computer Science

      巻: 7,626 ページ: 638-647

    • DOI

      10.1007/978-3-642-34166-3_70

    • ISBN
      9783642341656, 9783642341663
    • 関連する報告書
      2012 実績報告書
    • 査読あり
  • [雑誌論文] A multi-modal tempo and beat tracking system based on audio-visual information from live guitar performances2012

    • 著者名/発表者名
      T.Itohara, T.Otsuka, T.Mizumoto, et al
    • 雑誌名

      EURASIP Journal on Audio, Speech, and Music Processing

      巻: 2012:6 号: 1 ページ: 1-15

    • DOI

      10.1186/1687-4722-2012-6

    • 関連する報告書
      2011 実績報告書
    • 査読あり
  • [雑誌論文] 音楽共演ロボット:開始・終了キューの画像認識による人間のフルート奏者との実時間同期2011

    • 著者名/発表者名
      リム アンジェリカ, 水本武志, 大塚琢馬, ら
    • 雑誌名

      情報処理学会論文誌

      巻: Vol.52, No.12 ページ: 3599-3610

    • NAID

      110008719935

    • 関連する報告書
      2011 実績報告書
    • 査読あり
  • [学会発表] Solving Google's Continuous Audio CAPTCHA with HMM-based Automa tic Speech Recognition2013

    • 著者名/発表者名
      S. Sano, T. Otsuka, et al.
    • 学会等名
      the 8th International Workshop on Security (IWSEC 2013)
    • 発表場所
      Okinawa
    • 年月日
      2013-11-18
    • 関連する報告書
      2013 実績報告書
  • [学会発表] マイクロホンアレイを用いた音源定位・分離の統一的ノンパラメトリックベイズモデル2012

    • 著者名/発表者名
      大塚琢馬, ら
    • 学会等名
      第27回 信号処理シンポジウム
    • 発表場所
      ANAインターコンチネンタル石垣リゾート(沖縄県)
    • 年月日
      2012-11-29
    • 関連する報告書
      2012 実績報告書
  • [学会発表] Unified Auditory Functions based on Bayesian Topic Model2012

    • 著者名/発表者名
      Takuma Otsuka, et al.
    • 学会等名
      Proc. of International Conference on Intelligent Robots and Systems (IROS-2012)
    • 発表場所
      Vilamoura (ポルトガル)
    • 年月日
      2012-10-09
    • 関連する報告書
      2012 実績報告書
  • [学会発表] Bayesian Unification of Sound Source Localization and Separation with Permutation Resolution2012

    • 著者名/発表者名
      Takuma Otsuka, et al.
    • 学会等名
      Proc. of the Twenty-Sixth AMI Conference on Artificial Intelligence (AAAI-12)
    • 発表場所
      Toronto (カナダ)
    • 年月日
      2012-07-26
    • 関連する報告書
      2012 実績報告書
  • [学会発表] 音源定位手法MUSICのベイズ拡張2011

    • 著者名/発表者名
      大塚琢馬, ら
    • 学会等名
      第34回AIチャレンジ研究会
    • 発表場所
      慶應義塾大学(東京都)
    • 年月日
      2011-12-15
    • 関連する報告書
      2011 実績報告書
  • [学会発表] An interactive musical ensemble with the NAO Thereminist2011

    • 著者名/発表者名
      Angelica Lim, 水本武志, 大塚琢馬, ら
    • 学会等名
      第34回AIチャレンジ研究会
    • 発表場所
      慶應義塾大学(東京都)
    • 年月日
      2011-12-15
    • 関連する報告書
      2011 実績報告書
  • [学会発表] Incremental Bayesian Audio-to-Score Alignment with Flexible Harmonic Structure Models2011

    • 著者名/発表者名
      T.Otsuka, et al
    • 学会等名
      12th International Society for Musical Information Retrieval Conference
    • 発表場所
      マイアミ(アメリカ)
    • 年月日
      2011-10-26
    • 関連する報告書
      2011 実績報告書
  • [学会発表] Particle-filter Based Audio-visual Beat-tracking for Music Robot Ensemble with Human Guitarist2011

    • 著者名/発表者名
      T.Itohara, T.Mizumoto, T.Otsuka, et al
    • 学会等名
      IEEE/RSJ International Conference on Intelligent Robots and Systems
    • 発表場所
      サンフランシスコ(アメリカ)
    • 年月日
      2011-09-26
    • 関連する報告書
      2011 実績報告書
  • [学会発表] MUSIC法を用いた音源定位のベイズ拡張2011

    • 著者名/発表者名
      大塚琢馬, ら
    • 学会等名
      日本ロボット学会第29回学術講演会
    • 発表場所
      芝浦工業大学(東京都)
    • 年月日
      2011-09-09
    • 関連する報告書
      2011 実績報告書
  • [学会発表] Bayesian Extension of MUSIC for Sound Source Iocalization and Tracking2011

    • 著者名/発表者名
      T.Otsuka, et al
    • 学会等名
      International Conference on Spoken Language Processing (INTERSPEECH)
    • 発表場所
      フィレンツェ(イタリア)
    • 年月日
      2011-08-30
    • 関連する報告書
      2011 実績報告書
  • [備考]

    • URL

      http://winnie.kuis.kyoto-u.ac.jp/members/ohtsuka/research_demo_jp.html

    • 関連する報告書
      2013 実績報告書
  • [産業財産権] ロボット、ロボット制御方法およびプログラム2011

    • 発明者名
      中臺一博, 大塚琢馬, ら
    • 権利者名
      本田技研工業(株)
    • 公開番号
      2011-180590
    • 出願年月日
      2011-09-15
    • 関連する報告書
      2011 実績報告書

URL: 

公開日: 2011-12-12   更新日: 2024-03-26  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi