| 研究課題/領域番号 |
15KK0008
|
|---|
| 研究種目 |
国際共同研究加速基金(国際共同研究強化)
|
| 配分区分 | 基金 |
|---|
| 研究分野 |
エンタテインメント・ゲーム情報学
|
|---|
| 研究機関 | 名古屋工業大学 |
|---|
研究代表者 |
酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (30396791)
|
|---|
| 研究協力者 |
Rigoll Gerhart ミュンヘン工科大学, ヒューマンマシンコミュニケーション研究所, 教授
Kwolek Bogdan AGH科学技術大学, 准教授
Merendez Rafael Ramirez ポンペイファブラ大学, 准教授
|
|---|
| 研究期間 (年度) |
2016 – 2017
|
| 研究課題ステータス |
完了 (2017年度)
|
| 配分額 *注記 |
12,090千円 (直接経費: 9,300千円、間接経費: 2,790千円)
|
|---|
| キーワード | マルチモーダル実演奏データ / 楽譜追跡 / セグメンタル条件付き確率場 / 畳み込みニューラルネットワーク / 運指推定 / 演奏表情生成 / 画像、文章、音声等認識 / 感性情報学 |
|---|
| 研究成果の概要 |
音響信号による楽譜追跡技術の高度化に取り組み、基本的な音符列の情報だけでなく、打楽器やメロディなど楽譜情報を活用する新たな演奏追跡手法を開発した。RWC音楽データセットを用いたシミュレーション実験により、リアルタイム性を損なうことなく楽譜追跡精度の改善が可能であることを示した。また、演奏動作の指形状変化を取得する画像処理手法として、演奏中のマルチモーダルデータの構築を行うとともに、畳み込みニューラルネットワークによる手形状認識手法において、精密3次元手形状モデルによって疑似的な画像を多数生成することによって学習データセットを拡張し、実写画像に対する認識精度が大きく向上することを確認した。
|
