2011 Fiscal Year Research-status Report
カエルの合唱モデルを用いた人と合奏協調する音楽共演者ロボット
| Project/Area Number |
23650097
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
奥乃 博 京都大学, 情報学研究科, 教授 (60318201)
|
|---|
| Project Period (FY) |
2011-04-28 – 2013-03-31
|
| Keywords | 知能ロボティックス / カエルの合唱モデル / 音楽共演者ロボット / 音楽合奏協調 / テルミン演奏ロボット / ノンパラメトリックベイズ / 楽譜追跡 |
|---|
| Research Abstract |
本研究では，カエルの合唱機構の解明を通じた，創発的な音楽ロボットと人との合奏協調の実現を目指し，共演者ロボット要素技術と合奏協調機構の研究に取り組んだ．具体的な成果は以下の通り．（１）共演者ロボットの要素技術の開発：(1)電子楽器テルミン演奏ロボット：既開発のテルミン演奏システムを小型ヒューマノイドNAOに移植し，合奏用ロボットとして使用できるようにした．(2)自己生成音抑制の高機能化・処理の軽量化：自己の歌声・演奏音を既知音源として扱うＩＣＡによるセミブラインド分離処理の軽量化を図り，ロボット聴覚ソフトウエアHARKのモジュールとして実装．(3)リズム認識・楽譜追跡の高性能化：演奏揺らぎを確率モデルに取込み，non-parametric Bayesian 手法により，楽譜位置推定とビート予測のロバスト化を達成．（２）共演者ロボットの合奏協調機構の開発：(4)画像レベルでの同期：マイクロソフト社KINECTを使用し，深度センサーと画像処理とを統合した不要画像除去技術を開発し，ギター演奏の弾き腕・手の動きからのテンポ推定・楽譜追跡が性能向上．(5)リズム・メロディレベルでの同期：人の演奏に楽譜レベルで忠実に追従可能となり，デモを安定して提供できるようになった．(6)合奏でのリーダシップを所与のものとはせずに，演奏者間で自律的に定まるような枠組みを考案し，カエルの合唱で用いた非線形結合子によるリーダシップ推定を行い，合唱の適応性を向上させた．(7)カエルの合奏を屋久島・隠岐島で実地観測を行い，カエルホタルの点灯パターンを長時間収録し，現在解析を行っている．また，入力音の帯域制限が可能なカエルホタル第2版の試作を行った． 以上の成果を，国際会議と人工知能学会25周年合同シンポジウムでデモを行うとともに，国際会議に2件発表，ジャーナル論文が国際誌に3件，国内誌に1件掲載された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
（１）共演者ロボットの要素技術の開発(1)電子楽器テルミン演奏ロボット：既開発のテルミン演奏システムを小型ヒューマノイドNAOに移植し，ヒューマノイドロボットHRP-2に加えてNAOも合奏用ロボットに使用することができるようになった．この結果，米国サンフランシスコで開催されたロボット誕生５０周年記念のIEEE/RSJ国際会議IROS-2011でデモや，人工知能学会創立２５周年合同シンポジウムでもデモが可能となり，音楽ロボットの有用性を実証することができた．(2)自己生成音抑制の高機能化・処理の軽量化：自己の歌声・演奏音を既知音源として扱うＩＣＡによるセミブラインド分離処理の軽量化を図り，ロボット聴覚ソフトウエアHARKのモジュールとして実装．(3)リズム認識・楽譜追跡の高性能化：演奏揺らぎを確率モデルに取込み，non-parametric Bayesian 手法により，楽譜位置推定とビート予測のロバスト化を達成．国際会議発表，英文ジャーナル論文掲載．（２）共演者ロボットの合奏協調機構の開発(4)画像レベルでの同期：マイクロソフト社KINECTを使用し，深度センサーと画像処理とを統合した不要画像除去技術を開発し，ギター演奏の弾き腕・手の動きからのテンポ推定・楽譜追跡が性能向上．国際会議で発表．(5)リズム・メロディレベルでの同期：人の演奏に楽譜レベルで忠実に追従可能となり，デモを安定して提供できるようになった．(6)合奏でのリーダシップを所与のものとはせずに，演奏者間で自律的に定まるような枠組みを考案し，カエルの合唱で用いた非線形結合子によるリーダシップ推定を行い，合唱の適応性を向上させた．国際会議で採録．(7)カエルの合奏を屋久島・隠岐島で実地観測を行い，カエルホタルの点灯パターンを長時間収録し，現在解析を行っている．また，入力音の帯域制限が可能なカエルホタル第2版の試作を行った．
|
| Strategy for Future Research Activity |
今年度の研究成果を階層的な協調機構へ展開し，知的な演奏の実現を目指す.（１）共演者ロボットの要素技術の開発：(1)自己生成音抑制の高機能化・処理の軽量化，歌手ロボット・テルミン演奏ロボットの高機能化：低遅延実時間応答が可能な処理技法を開発し，多様な演奏形態にロバストなシステムを開発．(2)Non-parametric Bayeisianアプローチによる音楽情報処理技術の低遅延実時間応答技術の集大成：バッチ処理で培われた音楽情報処理技術と，incremental な実時間処理で培われたロボット聴覚技術とを，確率的アプローチ，特にグラフィカルモデルに注目し，両者の技術統合を幅広く行う．（２）共演者ロボットの合奏協調機構の開発：(3)画像・リズム・メロディレベルでの共演者・伴奏者としての誤り復帰を含む協調同期の実現．演奏中の任意の時点で人が主導権を持って同期が行えるように，同期シグナルとして演奏者の顔の動きや目配せを認識し，自分の演奏を変更する機能を開発．逆に，ロボットが主導権を持ち，人が楽譜の位置を迷った時に，同期がとれるような挙動を生成．(4)階層的な協調機構による高度インタラクションの設計：テンポ・音量・メロディーの揺らぎに対する双方の同期のモニタ機能を構築し，その上で各レベルの同期機構を一種の非線形振動子ととらえ，全体系の創発的安定化を狙う．さらに，従来のＡＩ的手法によるモニタ機能と協調同期機構を構築し，結合型非線形振動子による同期と比較を行い，両者の優劣，さらにはより高次の協調機構の検討を行う．(5)3匹以上のカエルの合唱での位置情報の影響をフィールド観測で継続的に取り組み，得られた知見を3重奏以上の合奏協調に応用． 以上の成果を，国際会議に投稿し，ジャーナル論文を投稿する．
|
| Expenditure Plans for the Next FY Research Funding |
【物品費】３００，０００円 内訳は超音波マイクロフォン（４万円＊４台），マルチチャネルAD装置（１０万円），DVD等消耗品【旅費】 ８００，０００円 内訳は国際会議発表（International Congress of Neuroethology, 8月米国，IEEE/RSJ IROS-2012，9月ポルトガル），隠岐島実地観測（5月），オーストラリア実地観測（3月）【人件費・謝金】 １００，０００円 内訳は音楽ロボット実験補助（50人時間＊1000円），カエルホタル改造（50人時間＊1000円）【その他】１００，０００円 内訳は国際会議投稿・ジャーナル論文投稿用英文添削（１０万円）【合計】１，３００，０００円
|
