• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

音楽を通じた人とロボットの共生

公募研究

研究領域人とロボットの共生による協創社会の創成
研究課題/領域番号 22118502
研究種目

新学術領域研究(研究領域提案型)

配分区分補助金
審査区分 複合領域
研究機関東京工業大学

研究代表者

中臺 一博  東京工業大学, 大学院・情報理工学研究科, 連携教授 (70436715)

研究期間 (年度) 2010 – 2011
研究課題ステータス 完了 (2011年度)
配分額 *注記
11,960千円 (直接経費: 9,200千円、間接経費: 2,760千円)
2011年度: 5,980千円 (直接経費: 4,600千円、間接経費: 1,380千円)
2010年度: 5,980千円 (直接経費: 4,600千円、間接経費: 1,380千円)
キーワード音楽ロボット / インタラクション / ビート追跡 / 楽譜追跡 / 演奏ロボット / ロボット聴覚 / 協奏 / 実時間処理
研究概要

H23年度については,これまでに構築した音楽処理に関連する個々の機能(楽譜情報を利用した頑健なビートトラッキング技術,自己雑音抑制技術,Kinectを用いた手の動き検出技術,フルート奏者のフルートの動き検出を利用した曲の開始・終了検出技術,振動子を用いた人・ロボット合奏モデル)を統合して,実機ロボットを用いた合奏デモを構築した.具体的には,人型ロボット2台,演奏者(人間)2名の4者によるカルテットを実現し,ロボットが人に,また人がロボットに合わせることにより調和のとれた人ロボット音楽インタラクションを実現した.また,人の楽器演奏に合わせてテルミンを演奏するロボットを構築し,ロボット分野で最高峰の国際会議であるIEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2011)のExhibition Sessionや人工知能学会AI-Challenge研究会において実機デモを行い,その有効性を示した.さらに,より人ロボット共生学領域に貢献すべく,ATRで開発した16チャンネル屋内設置型マイクロホンアレイを用いて,複数名が自発的に行う会話に対して,各話者の位置や発話区間を推定する技術を開発した.また,誤推定を測る指標を提案し,その有効性を明らかにした.計画時に提案した音楽インタラクションにとどまらず,マイクロホンアレイを用いたよい聞き手ロボット実現に向けた基礎技術を開発することもでき,計画以上に研究を進めることができた.

報告書

(2件)
  • 2011 実績報告書
  • 2010 実績報告書
  • 研究成果

    (33件)

すべて 2012 2011 2010 その他

すべて 雑誌論文 (6件) (うち査読あり 6件) 学会発表 (26件) 備考 (1件)

  • [雑誌論文] A multi-modal tempo and beat tracking system based on audio-visual information from live guitar performances2012

    • 著者名/発表者名
      T.Itohara, T.Otsuka, T.Mizumoto, et al
    • 雑誌名

      EURASIP Journal on Audio, Speech, and Music Processing

      巻: 2012:6 号: 1 ページ: 1-15

    • DOI

      10.1186/1687-4722-2012-6

    • 関連する報告書
      2011 実績報告書
    • 査読あり
  • [雑誌論文] A musical robot that synchronizes with a co-player using non-verbal cues2012

    • 著者名/発表者名
      A.Lim, T.Mizumoto, et al
    • 雑誌名

      Advanced Robotics

      巻: No.26 号: 3-4 ページ: 363-381

    • DOI

      10.1163/156855311x614626

    • 関連する報告書
      2011 実績報告書
    • 査読あり
  • [雑誌論文] Robot Audition : Missing Feature Theory Approach and Active Audition2011

    • 著者名/発表者名
      H.G.Okuno, K.Nakadai, H.-D.Kim
    • 雑誌名

      Robotics Research, Springer Tracts in Advanced Robotics

      巻: 70/2011 ページ: 227-244

    • DOI

      10.1007/978-3-642-19457-3_14

    • ISBN
      9783642194566, 9783642194573
    • 関連する報告書
      2011 実績報告書
    • 査読あり
  • [雑誌論文] Real-Time Audio-to-Score Alignment using Particle Filter for Co-player Music Robots2010

    • 著者名/発表者名
      Takuma Ohtsuka, Kazuhiro Nakadai, Toru Takahashi, Tetsuya Ogata, Hiroshi G.Okuno
    • 雑誌名

      EURASIP Journal of Advances in Signal Processing

      巻: 2011(Online journal)

    • NAID

      120005439178

    • 関連する報告書
      2010 実績報告書
    • 査読あり
  • [雑誌論文] テルミンの音高・音量特性のモデルに基づくテルミン演奏ロボットの開発2010

    • 著者名/発表者名
      水本武志, 辻野広司, 高橋徹, 駒谷和範, 尾形哲也, 奥乃博
    • 雑誌名

      情報処理学会論文誌

      巻: 51 ページ: 2008-2019

    • 関連する報告書
      2010 実績報告書
    • 査読あり
  • [雑誌論文] Music-ensemble robot that is capable of playing the theremin while listening to the accompanied music2010

    • 著者名/発表者名
      Takuma Otsuka, Takeshi Mizumoto, Kazuhiro Nakadai, Toru Takahashi, Kazunori Komatani, Tetsuya Ogata, Hiroshi G.Okuno
    • 雑誌名

      Trends in Applied Intelligent Systems Lecture Notes in Computer Science

      巻: 6096/2010 ページ: 102-112

    • 関連する報告書
      2010 実績報告書
    • 査読あり
  • [学会発表] Audio-Visual Integration for voice activity detection2012

    • 著者名/発表者名
      T.Yoshida, K.Nakadai
    • 学会等名
      First Symposium on Binaural Active Audition for Humanoid Robots
    • 発表場所
      パリ(フランス)(招待講演)
    • 年月日
      2012-02-27
    • 関連する報告書
      2011 実績報告書
  • [学会発表] クワドロコプターを使った屋外音環境の収録と解析2011

    • 著者名/発表者名
      奥谷啓太, 吉田尚水, 中村圭佑, 中臺一博
    • 学会等名
      第12回計測自動制御学会システムインテグレーション部門講演会,計測自動制御学会
    • 発表場所
      京都大学(京都)
    • 年月日
      2011-12-24
    • 関連する報告書
      2011 実績報告書
  • [学会発表] 音源定位手法MUSICのベイズ拡張2011

    • 著者名/発表者名
      大塚琢馬, 中臺一博, 尾形哲也, 奥乃博
    • 学会等名
      人工知能学会第34回AI-Challenge研究会
    • 発表場所
      慶応大学(東京都)
    • 年月日
      2011-12-15
    • 関連する報告書
      2011 実績報告書
  • [学会発表] マルチロボットによるKinectを用いた同期合奏2011

    • 著者名/発表者名
      糸原達彦, 水本武志, A.Lim, 大塚琢馬, 中村圭佑, 長谷川雄二, 中臺一博, 尾形哲也, 奥乃博
    • 学会等名
      人工知能学会第34回AI-Challenge研究会
    • 発表場所
      慶応大学(東京都)
    • 年月日
      2011-12-15
    • 関連する報告書
      2011 実績報告書
  • [学会発表] SLAMに基づく非同期分散マイクロホンアレイのキャリブレーションの評価2011

    • 著者名/発表者名
      三浦弘樹, 吉田尚水, 中村圭佑, 中臺一博
    • 学会等名
      人工知能学会第34回AI-Challenge研究会
    • 発表場所
      慶応大学(東京都)
    • 年月日
      2011-12-15
    • 関連する報告書
      2011 実績報告書
  • [学会発表] マAn interactive musical ensemble with the NAO Thereminist2011

    • 著者名/発表者名
      A.Lim, 水本武志, 大塚琢馬, 糸原達彦, 中臺一博, 尾形哲也, 奥乃博
    • 学会等名
      人工知能学会第34回AI-Challenge研究会
    • 発表場所
      慶応大学(東京都)(デモセッション)
    • 年月日
      2011-12-15
    • 関連する報告書
      2011 実績報告書
  • [学会発表] More cowbell! A musical ensemble with the NAO thereminist2011

    • 著者名/発表者名
      A.Lim, T.Muzumoto, T.Otsuka, T.Itohara, K.Nakadai, T.Ogata, H.G.Okuno
    • 学会等名
      IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2011)
    • 発表場所
      サンフランシスコ(アメリカ)(デモセッション)
    • 年月日
      2011-09-28
    • 関連する報告書
      2011 実績報告書
  • [学会発表] SLAMとビームフォーミングによる非同期分散マイクロホンアレイのキャリブレーション2011

    • 著者名/発表者名
      三浦弘樹, 吉田尚水, 中村圭佑, 中臺一博
    • 学会等名
      第29回日本ロボット学会学術講演会
    • 発表場所
      芝浦工業大学(東京都)
    • 年月日
      2011-09-09
    • 関連する報告書
      2011 実績報告書
  • [学会発表] ロボットのための情報量レベルに基づくアクティブ視聴覚統合の検討2011

    • 著者名/発表者名
      吉田尚水, 中村圭佑, 中臺一博
    • 学会等名
      第29回日本ロボット学会学術講演会
    • 発表場所
      芝浦工業大学(東京都)
    • 年月日
      2011-09-09
    • 関連する報告書
      2011 実績報告書
  • [学会発表] 実MUSIC法を用いた音源定位のベイズ拡張2011

    • 著者名/発表者名
      大塚琢馬, 中臺一博, 尾形哲也, 奥乃博
    • 学会等名
      第29回日本ロボット学会学術講演会
    • 発表場所
      芝浦工業大学(東京都)
    • 年月日
      2011-09-09
    • 関連する報告書
      2011 実績報告書
  • [学会発表] 実環境下での音源定位・音源検出の検討2011

    • 著者名/発表者名
      高橋徹, 中臺一博, 石井Carlos寿憲, Jani Even, 奥乃博
    • 学会等名
      第29回日本ロボット学会学術講演会
    • 発表場所
      芝浦工業大学(東京都)
    • 年月日
      2011-09-07
    • 関連する報告書
      2011 実績報告書
  • [学会発表] Bayesian Extension of MUSIC for Sound Source Localization and Tracking2011

    • 著者名/発表者名
      T.Otsuka, K.Nakadai, T.Ogata, H.G.Okuno
    • 学会等名
      International Conference on Spoken Language Processing (Interspeech 2011)
    • 発表場所
      フローレンス(イタリア)
    • 年月日
      2011-08-30
    • 関連する報告書
      2011 実績報告書
  • [学会発表] Design and Implementation of Selectable Sound Separation on a Texai Telepresence System using HARK2011

    • 著者名/発表者名
      T.Mizumoto, T.Yoshida, K.Nakadai, R.Takeda, T.Otsuka, T.Takahashi, H.G.Okuno
    • 学会等名
      IEEE-RAS International Conference on Robotics and Automation (ICRA-2011)
    • 発表場所
      上海(中国)
    • 年月日
      2011-05-10
    • 関連する報告書
      2011 実績報告書
  • [学会発表] Audio-visual musical instrument recognition2011

    • 著者名/発表者名
      Angelica Lim, 中村圭佑, 中壹一博, 尾形哲也, 奥乃博
    • 学会等名
      情報処理学会第73回全国大会
    • 発表場所
      東京,日本
    • 年月日
      2011-03-04
    • 関連する報告書
      2010 実績報告書
  • [学会発表] 累積頻度重みを適用したパーティクルフィルタによる実時間楽譜追従2011

    • 著者名/発表者名
      大塚琢馬, 中壹一博, 高橋徹, 尾形哲也, 奥乃博
    • 学会等名
      情報処理学会第73回全国大会
    • 発表場所
      東京工業大学,東京
    • 年月日
      2011-03-04
    • 関連する報告書
      2010 実績報告書
  • [学会発表] Incremental Bayesian Audio-to-Score Alignment with Flexible Harmonic Structure Models2011

    • 著者名/発表者名
      T.Otsuka, K.Nakadai, T.Ogata, H.G.Okuno
    • 学会等名
      International Society for Musical Information Retrieval Conference (ISMIR-2011)
    • 発表場所
      マイアミ(アメリカ)
    • 関連する報告書
      2011 実績報告書
  • [学会発表] SLAM-based Online Calibration of Asynchronous Microphone Array for Robot Audition2011

    • 著者名/発表者名
      H.Miura, T.Yoshida, K.Nakamura, K.Nakadai
    • 学会等名
      IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2011)
    • 発表場所
      サンフランシスコ(アメリカ)
    • 関連する報告書
      2011 実績報告書
  • [学会発表] Improvement of Speaker Localization by Considering Multipath Interference of Sound Wave for Binaural Robot Audition2011

    • 著者名/発表者名
      E.-H.Kim, T.Muzumoto, T.Ogata, H.G.Okuno
    • 学会等名
      IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2011)
    • 発表場所
      サンフランシスコ(アメリカ)
    • 関連する報告書
      2011 実績報告書
  • [学会発表] Human-Robot Ensemble between Robot Thereminst and Human Percussionist using Coupled Oscillator Model2010

    • 著者名/発表者名
      Takeshi Mizumoto, Takuma Otsuka, Kazuhiro Nakadai, Toru Takahashi, Kazunori Komatani, Tetsuya Ogata, Hiroshi G.Okuno
    • 学会等名
      IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2010)
    • 発表場所
      Taipei, Taiwan
    • 年月日
      2010-10-19
    • 関連する報告書
      2010 実績報告書
  • [学会発表] Robot Musical Accompaniment Integrating Audio and Visual Cues for Real-time Synchronization with a Human Flutist2010

    • 著者名/発表者名
      Angelica Lim, Takeshi Mizumoto Lois-Kenzo Cahier, Takuma Otsuka, Toru Takahashi, Kazunori Komatani, Tetsuya Ogata, Hiroshi G.Okuno
    • 学会等名
      IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2010)
    • 発表場所
      Taipei, Taiwan
    • 年月日
      2010-10-19
    • 関連する報告書
      2010 実績報告書
  • [学会発表] Design and Implementation of Two-level Synchronization for Interactive Music Robot2010

    • 著者名/発表者名
      Takuma Otsuka, Kazuhiro Nakadai, Toru Takahashi, Kazunori Komatani, Tetsuya Ogata, Hiroshi G.Okuno
    • 学会等名
      IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2010)
    • 発表場所
      Taipei, Taiwan
    • 年月日
      2010-10-19
    • 関連する報告書
      2010 実績報告書
  • [学会発表] Integration of flutist gesture recognition and beat tracking for human-robot ensemble2010

    • 著者名/発表者名
      Takeshi Mizumoto, Angelica Lim, Takuma Otsuka, Kazuhiro Nakadai, Toru Takahashi, Tetsuya Ogata, Hiroshi G.Okuno
    • 学会等名
      IEEE/RSJ IROS-2010 Workshop on Robots and Musical Expression
    • 発表場所
      Taipei, Taiwan
    • 年月日
      2010-10-18
    • 関連する報告書
      2010 実績報告書
  • [学会発表] Two-level Synchronization using Particle Filter for Co-player Music Robots2010

    • 著者名/発表者名
      Takuma Otsuka, Kazuhiro Nakadai, Toru Takahashi, Tetsuya Ogata, Hiroshi G.Okuno
    • 学会等名
      IEEE/RSJ IROS-2010 Workshop on Robots and Musical Expression
    • 発表場所
      Taipei, Taiwan
    • 年月日
      2010-10-18
    • 関連する報告書
      2010 実績報告書
  • [学会発表] Programming by Playing and Approaches for Expressive Robot Performances2010

    • 著者名/発表者名
      Angelica Lim, Takeshi Mizumoto, Toru Takahashi, Tetsuya Ogata, Hiroshi G.Okuno
    • 学会等名
      IEEE/RSJ IROS-2010 Workshop on Robots and Musical Expression
    • 発表場所
      Taipei, Taiwan
    • 年月日
      2010-10-18
    • 関連する報告書
      2010 実績報告書
  • [学会発表] 打楽器とロボットの合奏のための結合振動子モデルに基づく打撃時刻予想手法2010

    • 著者名/発表者名
      水本武志, 中壹一博, 大塚琢馬, 高橋徹, 尾形哲也, 奥乃博
    • 学会等名
      日本ロボット学会第28回学術講演会
    • 発表場所
      名古屋工業大学,愛知
    • 年月日
      2010-09-22
    • 関連する報告書
      2010 実績報告書
  • [学会発表] Predictive Score Following user Particle Filter for Music Robots2010

    • 著者名/発表者名
      Takuma Otsuka, Kazuhiro Nakadai, Toru Takahashi, Tetsuya Ogata, Hiroshi G.Okuno
    • 学会等名
      日本ロボット学会第28回学術講演会
    • 発表場所
      名古屋工業大学,愛知
    • 年月日
      2010-09-22
    • 関連する報告書
      2010 実績報告書
  • [備考]

    • URL

      http://winnie.kuis.kyoto-u.ac.jp/RMEWS/

    • 関連する報告書
      2010 実績報告書

URL: 

公開日: 2010-08-23   更新日: 2018-03-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi