カエルの合唱モデルを用いた人と合奏協調する音楽共演者ロボット

• 研究課題/領域番号: 23650097
• 研究種目: 挑戦的萌芽研究
• 配分区分: 基金
• 研究分野: 知覚情報処理・知能ロボティクス
• 研究機関: 京都大学
• 研究代表者: 奥乃 博 京都大学, 学院情報学研究科, 教授 (60318201)
• 連携研究者: 合原 一究 理化学研究所, 脳数理研究チーム, 基礎科学特別研究員 (70588516)
• 研究期間 (年度): 2012
• 研究課題ステータス: 完了 (2012年度)
• 配分額: 3,640千円 (直接経費: 2,800千円、間接経費: 840千円); 2012年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円); 2011年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
• キーワード: 知能ロボティクス / カエルの合唱モデル / 音楽共演者ロボット / 音楽合奏協調 / テルミン演奏ロボット / ノンパラメトリックベイズ / 楽譜追跡 / カエルホタル / 知能ロボティックス

研究概要

(1)ギター演奏の手の動きとギター演奏音響信号との情報統合と,複数の追跡機構の結果統合による裏拍等に頑健なビート追跡法を開発し,音楽共演者ロボットを開発.
(2)カエルの合唱でのリーダに倣ったリーダ度を設計し,実時間でリーダ度を求め,リーダ度が最も高いパートに演奏を合わせる合奏機構を開発し,音楽共演ロボットで有効性を確認.
(3)2種の信号帯域に応答する音光変換装置「カエルホタル」の開発し,2種類のカエルの合唱の同時観測に日豪で成功.

研究成果

• [雑誌論文] A multi-modal tempo and beat tracking system based on audio-visual information from live guitar performances (2012)
  • 著者名/発表者名: T.Itohara, T.Otsuka, T.Mizumoto, et al
  • 雑誌名: EURASIP Journal on Audio, Speech, and Music Processing 巻: 2012:6 号: 1 ページ: 1-15
  • DOI: 10.1186/1687-4722-2012-6
  • 査読あり
• [雑誌論文] Adaptive Pitch Control for Robot Thereminist using Unscented Kalman Filter (2012)
  • 著者名/発表者名: Takeshi Mizumot, et al.
  • 雑誌名: Modern Advances in Intelligent Systems and Tools, Studies in In Computational Intelligence 巻: 431 ページ: 19-24
  • DOI: 10.1007/978-3-642-30732-4_3
  • ISBN: 9783642307317, 9783642307324
  • 査読あり
• [雑誌論文] 混合音を聞き分けるセンシング技術 (2012)
  • 著者名/発表者名: 奥乃博, 中臺一博, 水本武志
  • 雑誌名: 電子情報通信学会学会誌 巻: 95巻 ページ: 401-404
  • NAID: 110009445370
  • URL: http://ci.nii.ac.jp/naid/110009445370
• [雑誌論文] Who is the leader in a multiperson ensemble? --Multiperson human-robot ensemble model with leaderness-- (2012)
  • 著者名/発表者名: Takeshi Mizumoto, Tetsuya Ogata, Hiroshi G. Okuno
  • 雑誌名: Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2012) 巻: Vol.1 ページ: 1413-1419
  • DOI: 10.1109/iros.2012.6385782
  • 査読あり
• [雑誌論文] Live Assessment of Beat Tracking for Robot Audition (2012)
  • 著者名/発表者名: Joao Lobato Oliveira, Gokhan Ince, Keisuke Nakamura, Kazuhiro Nakadai, Hiroshi G. Okuno, Luis Paulo Reis, Fabien Gouyon
  • 雑誌名: Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2012) 巻: 1 ページ: 992-997
  • DOI: 10.1109/iros.2012.6386100
  • 査読あり
• [雑誌論文] Possible Functions of Call Alternation in Frog Choruses (2012)
  • 著者名/発表者名: Ikkyu Aihara, Takeshi Mizumoto, Takuma Otsuka, Hiromitsu Awano, Hiroshi G. Okuno, Kazuyuki Aihara
  • 雑誌名: Tenth International Congress of Neuroethology 巻: 6
  • DOI: 10.3389/conf.fnbeh.2012.27.00267
  • 査読あり
• [雑誌論文] Sound imaging system for visualizing multiple sound sourcesfrom two species (2012)
  • 著者名/発表者名: Takeshi Mizumoto, Hiromitsu Awano, Ikkyu Aihara, Takuma Otsuka, Hiroshi G. Okuno
  • 雑誌名: Tenth International Congress of Neuroethology 巻: 6
  • DOI: 10.3389/conf.fnbeh.2012.27.00247
  • 査読あり
• [雑誌論文] Improvement of Audio-Visual Score Following in Robot Ensemble with Human Guitarist (2012)
  • 著者名/発表者名: Tatsuhiko Itohara, Kazuhiro Nakadai, Tetsuya Ogata, Hiroshi G. Okuno
  • 雑誌名: Proceedings of IEEE-RAS Interanational Conference on Humanoid Robots (Humanoids 2012)
  • 査読あり
• [雑誌論文] 混合音を聞き分けるセンシング技術 (2012)
  • 著者名/発表者名: 奥乃 博, 中臺 一博, 水本 武志
  • 雑誌名: 電子情報通信学会学会誌 巻: Vol.95, No.5 ページ: 401-404
  • NAID: 110009445370
• [雑誌論文] Towards expressive musical robots : A cross-modal framework for emotional gesture voice and music (2012)
  • 著者名/発表者名: Angelica Lim, Tetsuya Ogata, Hiroshi G.Okuno
  • 雑誌名: EURASIP Journal on Audio, Speech, and Music Processine 巻: 2012 号: 1 ページ: 363-381
  • DOI: 10.1186/1687-4722-2012-3
  • NAID: 120005439173
  • 査読あり
• [雑誌論文] Sound Imaging of Nocturnal Animal Calls in Their Natural Habitat (2011)
  • 著者名/発表者名: T.Mizumoto, et al
  • 雑誌名: Journal of Comparative Physiology A 巻: Vol.197, No.9 号: 9 ページ: 915-921
  • DOI: 10.1007/s00359-011-0652-7
  • 査読あり
• [雑誌論文] 音楽共演ロボット: 開始・終了キューの画像認識による人間のフルート奏者との実時間同期 (2011)
  • 著者名/発表者名: リムアンジェリカ, 水本武志, 大塚琢馬, 古谷ルイ賢造, 尾形哲也, 奥乃博
  • 雑誌名: 情報処理学会論文誌 巻: 52巻 ページ: 3839-3852
  • NAID: 110008719935
  • URL: http://id.nii.ac.jp/1001/00079563/
  • 査読あり
• [雑誌論文] Particle-filter Based Audio-visual Beat-tracking for Music Robot Ensemble with Human Guitarist (2011)
  • 著者名/発表者名: Tatsuhiko Itohara, Takeshi Muzumoto, Takuma Otsuka, Tetsuya Ogata, Hiroshi G. Okuno
  • 雑誌名: Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2011) 巻: Vol.1 ページ: 118-124
  • DOI: 10.1109/iros.2011.6094773
  • 査読あり
• [雑誌論文] Converting emotional voice to motion for robot telepresence (2011)
  • 著者名/発表者名: Angelica Lim, Tetsuya Ogata, Hiroshi G. Okuno
  • 雑誌名: Proceedings of IEEE-RAS Interanational Conference on Humanoid Robots (Humanoids 2011) ページ: 472-479
  • DOI: 10.1109/humanoids.2011.6100891
  • 査読あり
• [雑誌論文] Incremental Bayesian Audio-to-Score Alignment with Flexible Harmonic Structure Models (2011)
  • 著者名/発表者名: Takuma Otsuka, Kazuhiro Nakadai, Tetsuya Ogata, Hiroshi G. Okuno
  • 雑誌名: Proceedings of 12th International Society for Musical Information Retrieval Conference (ISMIR-2011) ページ: 525-530
  • URL: http://ismir2011.ismir.net/papers/PS4-9.pdf
  • 査読あり
• [雑誌論文] 音楽共演ロボット: 開始・終了キューの画像認識による人間のフルート奏者との実時間同期 (2011)
  • 著者名/発表者名: リム アンジェリカ, 水本 武志, 大塚 琢馬, 古谷 ルイ賢造, 尾形 哲也, 奥乃 博
  • 雑誌名: 情報処理学会論文誌 巻: 52 ページ: 3839-3852
  • NAID: 110008719935
  • 査読あり
• [学会発表] 音楽ロボットのための複数のビートトラッキングの結合手法とその有効性の検証 (2013)
  • 著者名/発表者名: 糸原達彦, 水本武志, 奥乃博
  • 学会等名: 情報処理学会第75回全国大会
  • 発表場所: 東北大学
  • 年月日: 2013-03-04
• [学会発表] Human Robot Interaction through Robot Audition (2012)
  • 著者名/発表者名: Hiroshi G. Okuno
  • 学会等名: IEEE/RSJ IROS-2012 Workshop on Motivational Aspect of Robotics in Physical Therapy
  • 発表場所: Vilamore, Algarve, Portgul(招待講演)
  • 年月日: 2012-10-12
• [学会発表] Kinect による楽器マスキングを用いた視聴覚統合ビートトラッキング (2012)
  • 著者名/発表者名: 糸原達彦, 大塚琢馬, 水本武志, 中臺一博, 尾形哲也, 奥乃博
  • 学会等名: 情報処理学会第74回全国大会, 5ZD-1
  • 発表場所: 名古屋工業大学
  • 年月日: 2012-03-08
• [学会発表] 人とロボットの合奏のための多人数合奏の主導権推定 (2012)
  • 著者名/発表者名: 水本武志, 尾形哲也, 奥乃博
  • 学会等名: 日本ロボット学会第30回学術講演会
  • 発表場所: 札幌コンベンションセンター
• [学会発表] 音楽ロボットとの合奏ための信頼度を用いたビートトラッキングの結合手法 (2012)
  • 著者名/発表者名: 糸原達彦, 奥乃博
  • 学会等名: 日本ロボット学会第30回学術講演会
  • 発表場所: 札幌コンベンションセンター
• [学会発表] Possible Functions of Call Alternation in Frog Choruses (2012)
  • 著者名/発表者名: Ikkyu Aihara, Takeshi Mizumoto, Takuma Otsuka, Hiromitsu Awano, Hiroshi G. Okuno, Kazuyuki Aihara
  • 学会等名: Tenth International Congress of Neuroethology
  • 発表場所: University of Maryland, College Park, MD, USA.
• [学会発表] ound imaging system for visualizing multiple sound sources from two species (2012)
  • 著者名/発表者名: Takeshi Mizumoto, Hiromitsu Awano, Ikkyu Aihara, Takuma Otsuka, Hiroshi G. Okuno
  • 学会等名: Tenth International Congress of Neuroethology,
  • 発表場所: University of Maryland, College Park, MD, USA.
• [学会発表] Improvement of Audio-Visual Score Following in Robot Ensemble with Human Guitarist (2012)
  • 著者名/発表者名: Tatsuhiko Itohara, Kazuhiro Nakadai, Tetsuya Ogata, Hiroshi G. Okuno
  • 学会等名: IEEE-RAS Interanational Conference on Humanoid Robots (Humanoids 2012)
  • 発表場所: Business Innovation Center Osaka, Japan
• [学会発表] 人とロボットの合奏のための多人数合奏の主導権推定 (2012)
  • 著者名/発表者名: 水本 武志, 尾形 哲也, 奥乃 博
  • 学会等名: 日本ロボット学会第30回学術講演会,
  • 発表場所: 札幌コンベンションセンター
• [学会発表] 音楽ロボットとの合奏ための信頼度を用いたビートトラッキングの結合手法 (2012)
  • 著者名/発表者名: 糸原 達彦, 奥乃 博
  • 学会等名: 日本ロボット学会第30回学術講演会,
  • 発表場所: 札幌コンベンションセンター
• [学会発表] Human Robot Interaction through Robot Audition (2012)
  • 著者名/発表者名: Hiroshi G. Okuno:
  • 学会等名: IEEE/RSJ IROS-2012 Workshop on Motivational Aspect of Robotics in Physical Therapy
  • 発表場所: Vilamoura, Algarve, Portgul,
  • 招待講演
• [学会発表] マルチロボットによるKinectを用いた同期合奏 (2011)
  • 著者名/発表者名: 糸原達彦, 水本武志, Angelica Lim, 大塚琢馬, 中村圭佑, 長谷川雄二, 中臺一博, 尾形哲也, 奥乃博
  • 学会等名: 第34回AI チャレンジ研究会, 人工知能学会
  • 発表場所: 慶応義塾大学
  • 年月日: 2011-12-15
• [学会発表] An interactive musical ensemble with the NAO Thereminist (2011)
  • 著者名/発表者名: Angelica Lim, 水本武志,大塚琢馬, 糸原達彦, 中臺一博, 尾形哲也, 奥乃博
  • 学会等名: 第34回AI チャレンジ研究会, 人工知能学会
  • 発表場所: 慶応義塾大学
  • 年月日: 2011-12-15
• [学会発表] パーティクルフィルタを用いたギター演奏の視聴覚統合ビートトラッキング (2011)
  • 著者名/発表者名: 糸原達彦, 大塚琢馬, 水本武志, 尾形哲也, 奥乃博
  • 学会等名: 日本ロボット学会第29回学術講演会, 3A2-2
  • 発表場所: 芝浦工業大学
  • 年月日: 2011-09-09
• [学会発表] More cowbell! A musical ensemble with the NAO thereminist (2011)
  • 著者名/発表者名: Angelica Lim, Takeshi Muzumoto, Takuma Otsuka, Tatsuhiko Itohara, Kazuhiro Nakadai, Tetsuya Ogata, Hiroshi G. Okuno
  • 学会等名: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2011)
  • 発表場所: San Francisco, USA
• [学会発表] Incremental Bayesian Audio-to-Score Alignment with Flexible Harmonic Structure Models (2011)
  • 著者名/発表者名: Takuma Otsuka, Kazuhiro Nakadai, Tetsuya Ogata, Hiroshi G. Okuno
  • 学会等名: Proceedings of 12th International Society for Musical Information Retrieval Conference (ISMIR-2011), pp.525-530
  • 発表場所: Miami, FL, USA
• [学会発表] More cowbell! A musical ensemble with the NAO thereminist (2011)
  • 著者名/発表者名: Angelica Lim, Takeshi Muzumoto, Takuma Otsuka, Tatsuhiko Itohara, Kazuhiro Nakadai, Tetsuya Ogata, Hiroshi G. Okuno
  • 学会等名: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2011)
  • 発表場所: San Francisco, CA, USA
• [学会発表] マルチロボットによるKinectを用いた同期合奏 (2011)
  • 著者名/発表者名: 糸原 達彦, 水本 武志, Angelica Lim, 大塚 琢馬, 中村 圭佑, 長谷川 雄二, 中臺 一博, 尾形 哲也, 奥乃 博
  • 学会等名: 第34回 AI チャレンジ研究会, 人工知能学会
  • 発表場所: 慶応義塾大学
• [学会発表] An interactive musical ensemble with the NAO Thereminist (2011)
  • 著者名/発表者名: Angelica Lim, 水本 武志, 大塚 琢馬, 糸原 達彦, 中臺 一博, 尾形 哲也, 奥乃 博
  • 学会等名: 第34回 AI チャレンジ研究会
  • 発表場所: 慶応義塾大学
• [図書] ロボット聴覚, 日本ロボット学会編『ロボットテクノロジー』 (2011)
  • 著者名/発表者名: 奥乃博
  • 総ページ数: 304
  • 出版者: オーム社
• [図書] 日本ロボット学会編『ロボットテクノロジー』 ロボット聴覚の章 (2011)
  • 著者名/発表者名: 奥乃 博
  • 総ページ数: 304
  • 出版者: オーム社
• [備考]
  • URL: http://winnie.kuis.kyoto-u.ac.jp/
• [備考] 重要な引用 Animal Behaviour 誌 60 周年記念エッセイで,雑誌論文(1)がカエルの合唱の観測用の重要な新デバイスとして評価. DOI: 10.1016/j.anbehav.2012.10.031
• [備考] アウトリーチ活動 スーパーサイエンスハイスクール事業サイエンスフォーラム,ロボットの科学フォーラム,2012 年 7 月 28 日,奈良市民文化ホール
• [備考] 奥乃研究室での研究の紹介
  • URL: http://winnie.kuis.kyoto-u.ac.jp/members/okuno/Invitation-Okuno-Lab.html
• [備考]
  • URL: http://winnie.kuis.kyoto-u.ac.jp/