|
本研究は，身体運動情報センシング技術を活用し，熟練ピアニストの超絶技巧の計測・評価・伝達システムの開発に取り組んだ．
88個の鍵盤の位置情報を1kHzの時間分解能で計測可能な独自センサーを開発し，ピアニスト40名ほどに指同士の独立運動制御が必要となる複雑な演奏課題を高速度で行ってもらい，その際に得られた打鍵情報から，打鍵や離鍵のタイミングや速度といった時空間的特徴を抽出した．それらの特徴量を用いてPenalized Regressionモデルを用いた機械学習計算を行った結果，パフォーマンス（速度，正確性）の個人差を説明する少数のタッチ特徴量が同定された（Oku and Furuya. under review）．
また，これらのタッチの波形や特徴量を精緻に可視化可能なバイオフィードバックトレーニングシステムを開発し，国際コンクール受賞歴を有するピアニストのタッチを模する練習課題を，音楽大学ピアノ専攻学生らが行う実験を実施した．30名のピアニストを訓練群と対照群に分けて介入実験を行った結果，タッチの可視化を伴うバイオフィードバックトレーニングによる有意な技能熟達効果が認められた（Oku et al. in preparation）．
また，タッチ情報だけではなく，手指の3次元姿勢情報を計測・評価するため，独自の薄型データグローブを開発した他，カメラ画像から得られた手指の姿勢を深層学習モデルを用いて推定・可視化するシステムを開発し，演奏技能の熟達に有効な可視化手法を，ピアニストを対象とした官能評価実験を通して検証した．
|
