| 研究課題/領域番号 |
23650097
|
|---|
| 研究機関 | 京都大学 |
|---|
研究代表者 |
奥乃 博 京都大学, 情報学研究科, 教授 (60318201)
|
|---|
| 研究期間 (年度) |
2011-04-28 – 2013-03-31
|
| キーワード | 知能ロボティックス / カエルの合唱モデル / 音楽共演者ロボット / 音楽合奏協調 / テルミン演奏ロボット / ノンパラメトリックベイズ / 楽譜追跡 |
|---|
| 研究概要 |
本研究では，カエルの合唱機構の解明を通じた，創発的な音楽ロボットと人との合奏協調の実現を目指し，共演者ロボット要素技術と合奏協調機構の研究に取り組んだ．具体的な成果は以下の通り．（１）共演者ロボットの要素技術の開発：(1)電子楽器テルミン演奏ロボット：既開発のテルミン演奏システムを小型ヒューマノイドNAOに移植し，合奏用ロボットとして使用できるようにした．(2)自己生成音抑制の高機能化・処理の軽量化：自己の歌声・演奏音を既知音源として扱うＩＣＡによるセミブラインド分離処理の軽量化を図り，ロボット聴覚ソフトウエアHARKのモジュールとして実装．(3)リズム認識・楽譜追跡の高性能化：演奏揺らぎを確率モデルに取込み，non-parametric Bayesian 手法により，楽譜位置推定とビート予測のロバスト化を達成．（２）共演者ロボットの合奏協調機構の開発：(4)画像レベルでの同期：マイクロソフト社KINECTを使用し，深度センサーと画像処理とを統合した不要画像除去技術を開発し，ギター演奏の弾き腕・手の動きからのテンポ推定・楽譜追跡が性能向上．(5)リズム・メロディレベルでの同期：人の演奏に楽譜レベルで忠実に追従可能となり，デモを安定して提供できるようになった．(6)合奏でのリーダシップを所与のものとはせずに，演奏者間で自律的に定まるような枠組みを考案し，カエルの合唱で用いた非線形結合子によるリーダシップ推定を行い，合唱の適応性を向上させた．(7)カエルの合奏を屋久島・隠岐島で実地観測を行い，カエルホタルの点灯パターンを長時間収録し，現在解析を行っている．また，入力音の帯域制限が可能なカエルホタル第2版の試作を行った． 以上の成果を，国際会議と人工知能学会25周年合同シンポジウムでデモを行うとともに，国際会議に2件発表，ジャーナル論文が国際誌に3件，国内誌に1件掲載された．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
（１）共演者ロボットの要素技術の開発(1)電子楽器テルミン演奏ロボット：既開発のテルミン演奏システムを小型ヒューマノイドNAOに移植し，ヒューマノイドロボットHRP-2に加えてNAOも合奏用ロボットに使用することができるようになった．この結果，米国サンフランシスコで開催されたロボット誕生５０周年記念のIEEE/RSJ国際会議IROS-2011でデモや，人工知能学会創立２５周年合同シンポジウムでもデモが可能となり，音楽ロボットの有用性を実証することができた．(2)自己生成音抑制の高機能化・処理の軽量化：自己の歌声・演奏音を既知音源として扱うＩＣＡによるセミブラインド分離処理の軽量化を図り，ロボット聴覚ソフトウエアHARKのモジュールとして実装．(3)リズム認識・楽譜追跡の高性能化：演奏揺らぎを確率モデルに取込み，non-parametric Bayesian 手法により，楽譜位置推定とビート予測のロバスト化を達成．国際会議発表，英文ジャーナル論文掲載．（２）共演者ロボットの合奏協調機構の開発(4)画像レベルでの同期：マイクロソフト社KINECTを使用し，深度センサーと画像処理とを統合した不要画像除去技術を開発し，ギター演奏の弾き腕・手の動きからのテンポ推定・楽譜追跡が性能向上．国際会議で発表．(5)リズム・メロディレベルでの同期：人の演奏に楽譜レベルで忠実に追従可能となり，デモを安定して提供できるようになった．(6)合奏でのリーダシップを所与のものとはせずに，演奏者間で自律的に定まるような枠組みを考案し，カエルの合唱で用いた非線形結合子によるリーダシップ推定を行い，合唱の適応性を向上させた．国際会議で採録．(7)カエルの合奏を屋久島・隠岐島で実地観測を行い，カエルホタルの点灯パターンを長時間収録し，現在解析を行っている．また，入力音の帯域制限が可能なカエルホタル第2版の試作を行った．
|
| 今後の研究の推進方策 |
今年度の研究成果を階層的な協調機構へ展開し，知的な演奏の実現を目指す.（１）共演者ロボットの要素技術の開発：(1)自己生成音抑制の高機能化・処理の軽量化，歌手ロボット・テルミン演奏ロボットの高機能化：低遅延実時間応答が可能な処理技法を開発し，多様な演奏形態にロバストなシステムを開発．(2)Non-parametric Bayeisianアプローチによる音楽情報処理技術の低遅延実時間応答技術の集大成：バッチ処理で培われた音楽情報処理技術と，incremental な実時間処理で培われたロボット聴覚技術とを，確率的アプローチ，特にグラフィカルモデルに注目し，両者の技術統合を幅広く行う．（２）共演者ロボットの合奏協調機構の開発：(3)画像・リズム・メロディレベルでの共演者・伴奏者としての誤り復帰を含む協調同期の実現．演奏中の任意の時点で人が主導権を持って同期が行えるように，同期シグナルとして演奏者の顔の動きや目配せを認識し，自分の演奏を変更する機能を開発．逆に，ロボットが主導権を持ち，人が楽譜の位置を迷った時に，同期がとれるような挙動を生成．(4)階層的な協調機構による高度インタラクションの設計：テンポ・音量・メロディーの揺らぎに対する双方の同期のモニタ機能を構築し，その上で各レベルの同期機構を一種の非線形振動子ととらえ，全体系の創発的安定化を狙う．さらに，従来のＡＩ的手法によるモニタ機能と協調同期機構を構築し，結合型非線形振動子による同期と比較を行い，両者の優劣，さらにはより高次の協調機構の検討を行う．(5)3匹以上のカエルの合唱での位置情報の影響をフィールド観測で継続的に取り組み，得られた知見を3重奏以上の合奏協調に応用． 以上の成果を，国際会議に投稿し，ジャーナル論文を投稿する．
|
| 次年度の研究費の使用計画 |
【物品費】３００，０００円 内訳は超音波マイクロフォン（４万円＊４台），マルチチャネルAD装置（１０万円），DVD等消耗品【旅費】 ８００，０００円 内訳は国際会議発表（International Congress of Neuroethology, 8月米国，IEEE/RSJ IROS-2012，9月ポルトガル），隠岐島実地観測（5月），オーストラリア実地観測（3月）【人件費・謝金】 １００，０００円 内訳は音楽ロボット実験補助（50人時間＊1000円），カエルホタル改造（50人時間＊1000円）【その他】１００，０００円 内訳は国際会議投稿・ジャーナル論文投稿用英文添削（１０万円）【合計】１，３００，０００円
|
