• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

人とロボットの音楽インタラクションのための非線形モデルに基づく同期演奏技術の開発

Research Project

Project/Area Number 11J06572
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Perception information processing/Intelligent robotics
Research InstitutionKyoto University

Principal Investigator

水本 武志  京都大学, 情報学研究科, 特別研究員(DC2)

Project Period (FY) 2011 – 2012
Project Status Completed (Fiscal Year 2012)
Budget Amount *help
¥1,300,000 (Direct Cost: ¥1,300,000)
Fiscal Year 2012: ¥600,000 (Direct Cost: ¥600,000)
Fiscal Year 2011: ¥700,000 (Direct Cost: ¥700,000)
Keywords合奏 / 共演者ロボット / インタラクション / 動物行動学
Research Abstract

本研究では、人の演奏を予測しながら、同期して演奏するロボットのための同期演奏技術の開発を目的とする。平成24年度は、(1)多人数合奏における主導権推定と(2)ニホンアマガエルの合唱の同期状態の計測と解析を行った。
1.多人数合奏における主導権推定
昨年度までは2人合奏を対象として、結合振動子モデルによる予測手法や、視聴覚統合ビートトラッキング手法を開発してきた。また、それらをロボットへ実装し、1人の共演者の演奏を予測する同期演奏を実現した。
平成24年度はこの技術を、多人数との合奏へ拡張した。多人数合奏を実現する上では、「そもそも誰を予測すべきか」が問題となる。本問題を解決するため、合奏中における各共演者の主導権を表す定量化指標リーダー度を設計し、その推定手法を開発した。そして、リーダー度を2人合奏のモデルを統合することで多人数合奏の非線形な状態空間モデルを設計した。本モデルにunscentedカルマンフィルタを適用し、多人数合奏中の主導権の動的変化とオンセット時刻を予測する手法を開発した。被験者実験の結果、本手法のオンセット予測精度が人と同程度であることを明らかにした。この内容は、IROS2012に採録された。
2.ニホンアマガエルの合唱の同期状態の計測と解析
昨年度までに、音声視覚化デバイス「カエルホタル」と動画解析技術を開発し、ニホンアマガエルを対象として野外におけるカエル合唱の時空間構造可視化を実現した。
平成24年度は、(1)デバイスの解析と、(2)オーストラリアでのフィールド実験を行った。(1)では、デバイスの音量輝度特性などのハードウェア特性を計測した。また、可視化システムのシミュレーション実験によってカエルの間距離ごとに可視化可能なデバイス配置密度を明らかにした。また、多数のカエルの合唱の同期状態のストロボスコープ法による統計的な検定手法によって、近接個体のみが有意に同期している例を発見した。(2)では、ニホンアマガエル以外の種で本手法を評価するため、オーストラリアのアカメアメガエルを用いた可視化実験を行った。

Report

(2 results)
  • 2012 Annual Research Report
  • 2011 Annual Research Report
  • Research Products

    (20 results)

All 2013 2012 2011

All Journal Article (7 results) (of which Peer Reviewed: 5 results) Presentation (13 results)

  • [Journal Article] Adaptive Pitch Control for Robot Thereminist using Unscented Kalman Filter2012

    • Author(s)
      Takeshi Mizumot, et al.
    • Journal Title

      Modern Advances in Intelligent Systems and Tools, Studies in In Computational Intelligence

      Volume: 431 Pages: 19-24

    • DOI

      10.1007/978-3-642-30732-4_3

    • ISBN
      9783642307317, 9783642307324
    • Related Report
      2012 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 3Dプリンタで遊ぼう2012

    • Author(s)
      水本武志, 他
    • Journal Title

      情報処理

      Volume: Vol. 53, No, 8 Pages: 810-815

    • Related Report
      2012 Annual Research Report
  • [Journal Article] 混合音を聞き分けるセンシング技術2012

    • Author(s)
      奥乃博, 中臺一博, 水本武志
    • Journal Title

      電子情報通信学会学会

      Volume: Vol. 95 No. 5 Pages: 401-404

    • NAID

      110009445370

    • Related Report
      2012 Annual Research Report
  • [Journal Article] A multi-modal tempo and beat tracking system based on audio-visual information from live guitar performances2012

    • Author(s)
      T.Itohara, T.Otsuka, T.Mizumoto, et al
    • Journal Title

      EURASIP Journal on Audio, Speech, and Music Processing

      Volume: 2012:6 Issue: 1 Pages: 1-15

    • DOI

      10.1186/1687-4722-2012-6

    • Related Report
      2011 Annual Research Report
    • Peer Reviewed
  • [Journal Article] A musical robot that synchronizes with a co-player using non-verbal cues2012

    • Author(s)
      A.Lim, T.Mizumoto, et al
    • Journal Title

      Advanced Robotics

      Volume: No.26 Issue: 3-4 Pages: 363-381

    • DOI

      10.1163/156855311x614626

    • Related Report
      2011 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Sound Imaging of Nocturnal Animal Calls in Their Natural Habitat2011

    • Author(s)
      T.Mizumoto, et al
    • Journal Title

      Journal of Comparative Physiology A

      Volume: Vol.197, No.9 Issue: 9 Pages: 915-921

    • DOI

      10.1007/s00359-011-0652-7

    • Related Report
      2011 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 音楽共演ロボット:開始・終了キューの画像認識による人間のフルート奏者との実時間同期2011

    • Author(s)
      リム・アンジェリカ, 水本武志, 他
    • Journal Title

      情報処理学会論文誌

      Volume: Vol.52 No.12

    • NAID

      110008719935

    • Related Report
      2011 Annual Research Report
    • Peer Reviewed
  • [Presentation] 音楽ロボットのための複数のビートトラッキングの結合手法とその有効性の検証2013

    • Author(s)
      糸原達彦, 水本武志, 他
    • Organizer
      情報処理学会第75回全国大会
    • Place of Presentation
      東北大学
    • Year and Date
      2013-03-08
    • Related Report
      2012 Annual Research Report
  • [Presentation] チューブ型ロボットの姿勢推定のためのEKF-SLAMを用いた可変マイクロホンアレイ位置推定2013

    • Author(s)
      坂東宣昭, 水本武志, 他
    • Organizer
      情報処理学会第75回全国大会
    • Place of Presentation
      東北大学
    • Year and Date
      2013-03-07
    • Related Report
      2012 Annual Research Report
  • [Presentation] Who is the leader in a multiperson ensemble?-Multiperson human-robot ensemble model with leaderness-2012

    • Author(s)
      Takeshi Mizumoto, et al.
    • Organizer
      IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
    • Place of Presentation
      Hotel Tivoli Vilatnoura, Algrave (ポルトガル)
    • Year and Date
      2012-10-08
    • Related Report
      2012 Annual Research Report
  • [Presentation] 人とロボットの合奏のための多人数合奏の主導権推定2012

    • Author(s)
      水本武志, 他
    • Organizer
      日本ロボット学会第30回学術講演会
    • Place of Presentation
      札幌コンベンションセンター
    • Year and Date
      2012-09-17
    • Related Report
      2012 Annual Research Report
  • [Presentation] Possible Functions of Call Alternation in Frog Choruses2012

    • Author(s)
      Ikkyu Aihara, Takeshi Mizumoto, et al.
    • Organizer
      International Congress of Neuroethology
    • Place of Presentation
      University of Maryland (アメリカ)
    • Year and Date
      2012-08-08
    • Related Report
      2012 Annual Research Report
  • [Presentation] Sound imaging system for visualizing multiple sound sources from two species2012

    • Author(s)
      Takeshi Mizumoto, Ikkyu Aihara, et al.
    • Organizer
      International Congress of Neuroethology
    • Place of Presentation
      University of Maryland (アメリカ)
    • Year and Date
      2012-08-06
    • Related Report
      2012 Annual Research Report
  • [Presentation] An interactive musical ensemble with the NAO Thereminist2011

    • Author(s)
      A.Lim, 水本武志, 他
    • Organizer
      第34回AIチャレンジ研究会,人工知能学会
    • Place of Presentation
      慶應義塾大学
    • Year and Date
      2011-12-15
    • Related Report
      2011 Annual Research Report
  • [Presentation] マルチロボットによるKinectを用いた同期合奏2011

    • Author(s)
      糸原達彦, 水本武志, 他
    • Organizer
      第34回AIチャレンジ研究会,人工知能学会
    • Place of Presentation
      慶應義塾大学
    • Year and Date
      2011-12-15
    • Related Report
      2011 Annual Research Report
  • [Presentation] More cowbell! A musical ensemble with NAO thereminist2011

    • Author(s)
      A.Lim, T.Mizumoto, et al
    • Organizer
      IROS 2011
    • Place of Presentation
      サンフランシスコ(アメリカ)
    • Year and Date
      2011-09-29
    • Related Report
      2011 Annual Research Report
  • [Presentation] Particle-filter Based Audio-visual Beat-tracking for Music Robot Ensemble with Human Guitarist2011

    • Author(s)
      T.Itohara, T.Mizumoto, et al
    • Organizer
      IROS 2011
    • Place of Presentation
      サンフランシスコ(アメリカ)
    • Year and Date
      2011-09-26
    • Related Report
      2011 Annual Research Report
  • [Presentation] テルミン演奏ロボットのためのUnscented Kalman Filterによる適応的音高制御2011

    • Author(s)
      水本武志, 他
    • Organizer
      日本ロボット学会第29回学術講演会
    • Place of Presentation
      芝浦工業大学
    • Year and Date
      2011-09-09
    • Related Report
      2011 Annual Research Report
  • [Presentation] パーティクルフィルタを用いたギター演奏の視聴覚統合ビートトラッキング2011

    • Author(s)
      糸原達彦, 大塚琢馬, 水本武志, 他
    • Organizer
      日本ロボット学会第29回学術講演会
    • Place of Presentation
      芝浦工業大学
    • Year and Date
      2011-09-09
    • Related Report
      2011 Annual Research Report
  • [Presentation] Adaptive Pitch Control for Robot Thereminist using Unscented Kalman Filter2011

    • Author(s)
      T.Mizumoto, et al
    • Organizer
      IEA-AIE 2012
    • Place of Presentation
      大連(中国)(発表決定)
    • Year and Date
      2011-06-09
    • Related Report
      2011 Annual Research Report

URL: 

Published: 2011-12-12   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi