|
表情を伴った実演奏に対して聴覚情報・視覚情報・身体動作など多元的な演奏情報を含んだ表情付きマルチモーダル演奏情報データベースの仕様と構築方法について検討し、電子ピアノを用いて演奏された音響信号、MIDI信号による打鍵タイミング・打鍵強度などの演奏情報、演奏中の指動作などの視覚情報として深度情報を含んだRGB-D情報を同時に記録する基本的なシステムを開発した。演奏中の複雑な身体動作を計測するため、演奏中の指動作に影響のない筋電センサを用いた上腕動作および指動作の取得方法について検討を進めた。
音響信号による楽譜追跡技術の高度化に取り組み、これまでに提案してきたSCRFとLDSに基づいたリアルタイム楽譜追跡技術を拡張し、従来手法のように基本的な音符列の情報だけでなく、楽譜に記載されている高次の情報に着目し、演奏モデル内で打楽器やメロディなど楽譜情報を活用する新たな仕組みを提案した。RWC音楽データベースを用いた計算機実験では、リアルタイム性を損なうことなく楽譜追跡精度が改善することを確認した。さらに視覚情報を利用した運指推定手法について検討し、まず演奏動作における特に指形状変化を取得するための画像処理手法として、畳み込みニューラルネットワーク(CNN)による手形状認識手法において、モデルの学習用データセットを拡張するために精密な3次元手形状モデルによって生成した合成画像を用いる手法を検討した。実写画像に加えて典型的な手形状の合成画像を多数生成することでデータセットを拡張し、実写画像に対する認識精度が大きく向上することを確認した。一方でこれまでに取り組んでいた、演奏者の技量に応じたバイオリン運指推定の研究を発展させ、一つのメロディに対して多義性のあるギターのタブ譜を音響信号から直接推定する手法について検討を行い、単独コードの実演奏の音響信号からタブ譜を推定できることを示した。
|
