研究課題
本研究では,ロボットが人の演奏を予測し同期して合奏するための同期演奏技術の開発を目的とする.平成23年度は、共演者ロボットとして開発しているテルミン演奏ロボットの機能向上、マルチモーダルな情報を用いた同期と多人数合奏への応用、そしてニホンアマガエルの集団発声行動における同期状態の調査を行った。1.テルミン演奏ロボットシステム: 従来の楽器演奏ロボットはハードウェア依存であったが、本システムは異なる身体性をもつ複数のロボットへ移植可能である。ただし、テルミンは周囲の環境に敏感に影響を受けてして特性が変化する問題があった。そこで、特性のパラメトリックなモデルと演奏音の誤差を用いて、unscentedカルマンフィルタによる実時間で特性変化を追従する手法を開発した。この内容はIEA-AIE2012に採録された。2.同期演奏: 人の演奏に合わせて自然な合奏を行うためには、合奏中のビートの同期と、リズムの存在しない合奏の開始・終了タイミングの同期が必要となる。そこで、合奏中にギター演奏の演奏音と腕振り動作の視聴覚統合によるビートトラッキングによって同期する手法と、合奏の開始・終了タイミングをフルートのジェスチャによって同期する手法を開発した。そして、ギター奏者とフルート奏者の2人の人間と、2体のロボットによる四人の合奏を実現した。この内容はEURASIP Special Issue,情報処理学会論文誌などに採録された。3.集団発声行動計測: ニホンアマガエルなどの集団で発声行動を行う生物の多くは、人同士の合奏と同様に周囲の発声行動を聞きながらで同期することが知られている。生物の生息地は雑音が多数存在するため通常のマイクアレイ処理では定位・分離が困難なので、光を音に変換するデバイスを開発して野外での集団発声の時空間構造を可視化した。その結果、同期パターンの計測に成功した。この内容はJournal of Comparative Physiology Aに採録された。
2: おおむね順調に進展している
本研究は、人に合わせて同期演奏する技術の開発だけでなく、実際に人と合奏する共演者ロボットに実装することも目的としている。本年度は目的どおり合奏前後と合奏中の同期演奏を開発し、実際に人間2人とロボット2体の合奏までを達成した。また、発声行動の調査も計画通り行い、野外の行動が可視化に成功した。したがって、当初の計画通りおおむね順調に進展しているといえる。
共演者ロボットの能力向上と同期演奏技術の開発が進展したので、今後はそれらを統合することで合奏システムの洗練化を行う。また、多人数での合奏におけるLeader/Followerは本研究の目的の(3)の演奏表現が合う高次同期に重要なので、その推定も行う。
すべて 2012 2011
すべて 雑誌論文 (4件) (うち査読あり 4件) 学会発表 (7件)
EURASIP Journal on Audio, Speech, and Music Processing
巻: 2012:6
10.1186/1687-4722-2012-6
Advanced Robotics
巻: No.26 ページ: 363-381
10.1163/156855311X614626
Journal of Comparative Physiology A
巻: Vol.197, No.9 ページ: 915-921
10.1007/s00359-011-0652-7
情報処理学会論文誌
巻: Vol.52 No.12
