2015 Fiscal Year Research-status Report
演奏者の個人性を転写する演奏生成と協調演奏システムの研究
| Project/Area Number |
26730182
|
|---|
| Research Institution | Nagoya Institute of Technology |
|---|
Principal Investigator |
酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 助教 (30396791)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 演奏表情生成 / 楽譜追跡 / 隠れマルコフモデル / 条件付き確率場 |
|---|
| Outline of Annual Research Achievements |
本研究では、楽器演奏における個人性を演奏データそのものから獲得し、その演奏スタイルを再現（転写）する自動演奏生成技術と、その演奏データを自動生成するための楽譜と音響新語うの楽譜アライメントの二つに焦点をあてて取り組む。この研究の狙いは、豊かな個人性を備えた演奏生成システムを、人手による演奏特徴の抽出や規則の作りこみを伴わず、一定の実演奏データから半自動的に学習する枠組みを実現することである。また、このような演奏生成システムには大規模な実演奏データベースが不可欠であるが、電子楽器のように演奏情報の取得が容易なものだけでなく、音響信号から演奏情報を直接取り出すことができれば、電子楽器に限定されない様々な楽器について自動演奏生成技術を対応させることができる。初年度である平成26年度では演奏生成モデルの高度化に取り組むとともに、演奏生成モデルを介した演奏の分析技術について研究を行った。2年目にあたる平成27年度では、主に楽譜アライメント技術の高度化についての研究に取り組んだ。具体的な取り組み内容としては、楽譜の情報を活用することでテンポ変動を把握しやすい打楽器音とそれ以外の楽器種別を考慮した新たな演奏追跡モデルを提案し、演奏追跡精度の改善を確認した。また、楽譜アライメントにおける多様な楽器へ対応するための取組みの一部として、歌声を対象とした歌声の自動歌詞認識の研究に取り組んだ。また、協調演奏システムの開発に関連して、ピアノ演奏にリアルタイムで同期してダンスを踊るロボットの開発を国内の産業ロボットメーカーと共同で実施し、その成果は国際ロボット展に出展された。その他、演奏生成技術に関わる関連研究としてバイオリン演奏時の運指推定、自動作曲・編曲などの研究を推進した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度の研究成果である演奏生成に関する研究に関して、新たな演奏生成技術の提案とその分析手法に関する有用性の2つの観点で投稿した論文が採択に至っている。また、平成28年度に実施した楽譜追跡技術では、様々な楽器で演奏された音情報に対して演奏追跡に有用な情報を選択的に利用できるよう、従来の演奏追跡技術を拡張した新たな演奏追跡モデルを定式化し、実験によって優位性が確認でき、一定の成果を示すことができた。この成果は国際会議の論文として投稿されている。協調演奏システムの開発に関連して、ピアノ演奏にリアルタイムで同期してダンスを踊るロボットの制御システムを国内の産業ロボットメーカーと共同で開発し、その成果は国際ロボット展2015において実演することに成功し、演奏追跡技術の幅広い応用性を示すことができた。
|
| Strategy for Future Research Activity |
最終年度では、引き続き主要な二つの課題について従来手法の深化と改善手法について検討を進めるとともに、まだ十分に達成できてない課題に力点を置いて進め、演奏者がより能動的に楽しめる協調演奏システムの可能性を追求する。音響信号の楽譜アライメント手法の性能改善を進め、世界レベルの評価が得られるよう、音楽情報処理の技術コンピティションであるMIREXワークショップへ出展する。前年度の成果で示されているように、演奏追跡技術の高い応用性を活かせる研究テーマや分野について模索を続ける。また、本申請課題の継続的な取り組みとして、国際共同研究加速基金（国際共同研究強化）に採択されているため、演奏者のモデル化という観点から海外の研究機関との共同研究を展開する。
|
| Causes of Carryover |
今年度の研究活動では、予定していた計算機実験に使用する機材等が前年度に整備したもので実施できる範囲であったため。
|
| Expenditure Plan for Carryover Budget |
次年度使用額は主に数値計算実験にかかる費用に充当する。大規模な数値計算実験に不可欠な実験用計算機にかかるコスト（初期費用や維持管理）を勘案し、今後はAmazon社等によるクラウドサービス(AWS)の活用を検討する。数値計算実験に必要な計算機資源をスケーラブルに確保することができ、計算機の実機を購入するよりも有効に活用できる見込みである。
|
