• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

人とロボットの音楽インタラクションのための非線形モデルに基づく同期演奏技術の開発

研究課題

研究課題/領域番号 11J06572
研究種目

特別研究員奨励費

配分区分補助金
応募区分国内
研究分野 知覚情報処理・知能ロボティクス
研究機関京都大学

研究代表者

水本 武志  京都大学, 情報学研究科, 特別研究員(DC2)

研究期間 (年度) 2011 – 2012
研究課題ステータス 完了 (2012年度)
配分額 *注記
1,300千円 (直接経費: 1,300千円)
2012年度: 600千円 (直接経費: 600千円)
2011年度: 700千円 (直接経費: 700千円)
キーワード合奏 / 共演者ロボット / インタラクション / 動物行動学
研究概要

本研究では、人の演奏を予測しながら、同期して演奏するロボットのための同期演奏技術の開発を目的とする。平成24年度は、(1)多人数合奏における主導権推定と(2)ニホンアマガエルの合唱の同期状態の計測と解析を行った。
1.多人数合奏における主導権推定
昨年度までは2人合奏を対象として、結合振動子モデルによる予測手法や、視聴覚統合ビートトラッキング手法を開発してきた。また、それらをロボットへ実装し、1人の共演者の演奏を予測する同期演奏を実現した。
平成24年度はこの技術を、多人数との合奏へ拡張した。多人数合奏を実現する上では、「そもそも誰を予測すべきか」が問題となる。本問題を解決するため、合奏中における各共演者の主導権を表す定量化指標リーダー度を設計し、その推定手法を開発した。そして、リーダー度を2人合奏のモデルを統合することで多人数合奏の非線形な状態空間モデルを設計した。本モデルにunscentedカルマンフィルタを適用し、多人数合奏中の主導権の動的変化とオンセット時刻を予測する手法を開発した。被験者実験の結果、本手法のオンセット予測精度が人と同程度であることを明らかにした。この内容は、IROS2012に採録された。
2.ニホンアマガエルの合唱の同期状態の計測と解析
昨年度までに、音声視覚化デバイス「カエルホタル」と動画解析技術を開発し、ニホンアマガエルを対象として野外におけるカエル合唱の時空間構造可視化を実現した。
平成24年度は、(1)デバイスの解析と、(2)オーストラリアでのフィールド実験を行った。(1)では、デバイスの音量輝度特性などのハードウェア特性を計測した。また、可視化システムのシミュレーション実験によってカエルの間距離ごとに可視化可能なデバイス配置密度を明らかにした。また、多数のカエルの合唱の同期状態のストロボスコープ法による統計的な検定手法によって、近接個体のみが有意に同期している例を発見した。(2)では、ニホンアマガエル以外の種で本手法を評価するため、オーストラリアのアカメアメガエルを用いた可視化実験を行った。

報告書

(2件)
  • 2012 実績報告書
  • 2011 実績報告書
  • 研究成果

    (20件)

すべて 2013 2012 2011

すべて 雑誌論文 (7件) (うち査読あり 5件) 学会発表 (13件)

  • [雑誌論文] Adaptive Pitch Control for Robot Thereminist using Unscented Kalman Filter2012

    • 著者名/発表者名
      Takeshi Mizumot, et al.
    • 雑誌名

      Modern Advances in Intelligent Systems and Tools, Studies in In Computational Intelligence

      巻: 431 ページ: 19-24

    • DOI

      10.1007/978-3-642-30732-4_3

    • ISBN
      9783642307317, 9783642307324
    • 関連する報告書
      2012 実績報告書
    • 査読あり
  • [雑誌論文] 3Dプリンタで遊ぼう2012

    • 著者名/発表者名
      水本武志, 他
    • 雑誌名

      情報処理

      巻: Vol. 53, No, 8 ページ: 810-815

    • 関連する報告書
      2012 実績報告書
  • [雑誌論文] 混合音を聞き分けるセンシング技術2012

    • 著者名/発表者名
      奥乃博, 中臺一博, 水本武志
    • 雑誌名

      電子情報通信学会学会

      巻: Vol. 95 No. 5 ページ: 401-404

    • NAID

      110009445370

    • 関連する報告書
      2012 実績報告書
  • [雑誌論文] A multi-modal tempo and beat tracking system based on audio-visual information from live guitar performances2012

    • 著者名/発表者名
      T.Itohara, T.Otsuka, T.Mizumoto, et al
    • 雑誌名

      EURASIP Journal on Audio, Speech, and Music Processing

      巻: 2012:6 号: 1 ページ: 1-15

    • DOI

      10.1186/1687-4722-2012-6

    • 関連する報告書
      2011 実績報告書
    • 査読あり
  • [雑誌論文] A musical robot that synchronizes with a co-player using non-verbal cues2012

    • 著者名/発表者名
      A.Lim, T.Mizumoto, et al
    • 雑誌名

      Advanced Robotics

      巻: No.26 号: 3-4 ページ: 363-381

    • DOI

      10.1163/156855311x614626

    • 関連する報告書
      2011 実績報告書
    • 査読あり
  • [雑誌論文] Sound Imaging of Nocturnal Animal Calls in Their Natural Habitat2011

    • 著者名/発表者名
      T.Mizumoto, et al
    • 雑誌名

      Journal of Comparative Physiology A

      巻: Vol.197, No.9 号: 9 ページ: 915-921

    • DOI

      10.1007/s00359-011-0652-7

    • 関連する報告書
      2011 実績報告書
    • 査読あり
  • [雑誌論文] 音楽共演ロボット:開始・終了キューの画像認識による人間のフルート奏者との実時間同期2011

    • 著者名/発表者名
      リム・アンジェリカ, 水本武志, 他
    • 雑誌名

      情報処理学会論文誌

      巻: Vol.52 No.12

    • NAID

      110008719935

    • 関連する報告書
      2011 実績報告書
    • 査読あり
  • [学会発表] 音楽ロボットのための複数のビートトラッキングの結合手法とその有効性の検証2013

    • 著者名/発表者名
      糸原達彦, 水本武志, 他
    • 学会等名
      情報処理学会第75回全国大会
    • 発表場所
      東北大学
    • 年月日
      2013-03-08
    • 関連する報告書
      2012 実績報告書
  • [学会発表] チューブ型ロボットの姿勢推定のためのEKF-SLAMを用いた可変マイクロホンアレイ位置推定2013

    • 著者名/発表者名
      坂東宣昭, 水本武志, 他
    • 学会等名
      情報処理学会第75回全国大会
    • 発表場所
      東北大学
    • 年月日
      2013-03-07
    • 関連する報告書
      2012 実績報告書
  • [学会発表] Who is the leader in a multiperson ensemble?-Multiperson human-robot ensemble model with leaderness-2012

    • 著者名/発表者名
      Takeshi Mizumoto, et al.
    • 学会等名
      IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
    • 発表場所
      Hotel Tivoli Vilatnoura, Algrave (ポルトガル)
    • 年月日
      2012-10-08
    • 関連する報告書
      2012 実績報告書
  • [学会発表] 人とロボットの合奏のための多人数合奏の主導権推定2012

    • 著者名/発表者名
      水本武志, 他
    • 学会等名
      日本ロボット学会第30回学術講演会
    • 発表場所
      札幌コンベンションセンター
    • 年月日
      2012-09-17
    • 関連する報告書
      2012 実績報告書
  • [学会発表] Possible Functions of Call Alternation in Frog Choruses2012

    • 著者名/発表者名
      Ikkyu Aihara, Takeshi Mizumoto, et al.
    • 学会等名
      International Congress of Neuroethology
    • 発表場所
      University of Maryland (アメリカ)
    • 年月日
      2012-08-08
    • 関連する報告書
      2012 実績報告書
  • [学会発表] Sound imaging system for visualizing multiple sound sources from two species2012

    • 著者名/発表者名
      Takeshi Mizumoto, Ikkyu Aihara, et al.
    • 学会等名
      International Congress of Neuroethology
    • 発表場所
      University of Maryland (アメリカ)
    • 年月日
      2012-08-06
    • 関連する報告書
      2012 実績報告書
  • [学会発表] An interactive musical ensemble with the NAO Thereminist2011

    • 著者名/発表者名
      A.Lim, 水本武志, 他
    • 学会等名
      第34回AIチャレンジ研究会,人工知能学会
    • 発表場所
      慶應義塾大学
    • 年月日
      2011-12-15
    • 関連する報告書
      2011 実績報告書
  • [学会発表] マルチロボットによるKinectを用いた同期合奏2011

    • 著者名/発表者名
      糸原達彦, 水本武志, 他
    • 学会等名
      第34回AIチャレンジ研究会,人工知能学会
    • 発表場所
      慶應義塾大学
    • 年月日
      2011-12-15
    • 関連する報告書
      2011 実績報告書
  • [学会発表] More cowbell! A musical ensemble with NAO thereminist2011

    • 著者名/発表者名
      A.Lim, T.Mizumoto, et al
    • 学会等名
      IROS 2011
    • 発表場所
      サンフランシスコ(アメリカ)
    • 年月日
      2011-09-29
    • 関連する報告書
      2011 実績報告書
  • [学会発表] Particle-filter Based Audio-visual Beat-tracking for Music Robot Ensemble with Human Guitarist2011

    • 著者名/発表者名
      T.Itohara, T.Mizumoto, et al
    • 学会等名
      IROS 2011
    • 発表場所
      サンフランシスコ(アメリカ)
    • 年月日
      2011-09-26
    • 関連する報告書
      2011 実績報告書
  • [学会発表] テルミン演奏ロボットのためのUnscented Kalman Filterによる適応的音高制御2011

    • 著者名/発表者名
      水本武志, 他
    • 学会等名
      日本ロボット学会第29回学術講演会
    • 発表場所
      芝浦工業大学
    • 年月日
      2011-09-09
    • 関連する報告書
      2011 実績報告書
  • [学会発表] パーティクルフィルタを用いたギター演奏の視聴覚統合ビートトラッキング2011

    • 著者名/発表者名
      糸原達彦, 大塚琢馬, 水本武志, 他
    • 学会等名
      日本ロボット学会第29回学術講演会
    • 発表場所
      芝浦工業大学
    • 年月日
      2011-09-09
    • 関連する報告書
      2011 実績報告書
  • [学会発表] Adaptive Pitch Control for Robot Thereminist using Unscented Kalman Filter2011

    • 著者名/発表者名
      T.Mizumoto, et al
    • 学会等名
      IEA-AIE 2012
    • 発表場所
      大連(中国)(発表決定)
    • 年月日
      2011-06-09
    • 関連する報告書
      2011 実績報告書

URL: 

公開日: 2011-12-12   更新日: 2024-03-26  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi