2017 Fiscal Year Research-status Report

コンテンツによる検索可能なディジタル古楽譜ライブラリ構築

Research Project

Project/Area Number	17K12795
Research Institution	Ritsumeikan University
Principal Investigator	新妻雅弘立命館大学, 情報理工学部, 助教 (50733135)
Project Period (FY)	2017-04-01 – 2019-03-31
Keywords	筆跡鑑定 / 音楽学
Outline of Annual Research Achievements	深層学習に用いられる多層ニューラルネットワークの学習には，概して大量のデータが必要となることから，実際に音楽学者が使用している楽譜の質を反映し，種々の音楽記号を含んだ正解付きのデータベースを整備していく必要性がある．五線削除のためのデータベースとしてはCVC-Musicmaデータベースがあるが，実際に音楽学者が使用しているマイクロフィッシュなどは含まれていないため，独自のデータベースを構築する必要がある．Bach資料館のPeter Wolly氏の協力を得て，大量のマイクロフィッシュ・マイクロフィルムのスキャンデータをうることができた．これまで古楽譜における音楽記号のアイソレーションでは，二値化や雑音除去，五線削除などが前提になっていた．また，ケースごとに最適な特徴量を選択する必要があった．本研究ではCNNを用いることで，特徴量抽出を内部に包含した分類器を構築し，これらの前処理をせずに直接ピクセルが音楽記号の構成要素となるかどうかを判別する．具体的には，構築された多様なデータを用い，最適なニューラルネットワークの構造を決定し，チューニングを行っている段階である．また，楽譜のファクシミリを精査することを繰り返す過程で，筆跡の背景に人間の感受性の根底にある体運動習性が存在することを発見した．この体運動習性と筆跡との関係をしらべるため，novel社pedarというインソール型圧力センサーを用いることで足裏体圧分布を左右１９８次元の時系列データとして抽出し，筆跡の特徴量と筆跡者の体運動習性の相関を分析した．この過程で，足裏体圧分布の変化をその動きの方向性から５種類に分類すると，その筆跡への影響がはっきりと特徴量に現れることがわかった．
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 個々の音楽記号が抽出できる精度に達してはいない．Bach資料館のPeter Wolly氏の協力を得て入手したデジタルスキャンデータには，想像以上のノイズを含んでいたことが大きな原因である．
Strategy for Future Research Activity	アイソレーションされない段階の画像から情報を多く含んだ特徴量を抽出することで，完全なセグメンテーションを達成せずに筆跡鑑定や時代判別を可能にするという研究の方向性を考えている．具体的には以下の通り．楽譜のファクシミリを精査することを繰り返す過程で，筆跡の背景に人間の感受性の根底にある体運動習性が存在することを発見した．この体運動習性と筆跡との関係をしらべるため，novel社pedarというインソール型圧力センサーを用いることで足裏体圧分布を左右１９８次元の時系列データとして抽出し，筆跡の特徴量と筆跡者の体運動習性の相関を分析した．この過程で，足裏体圧分布の変化をその動きの方向性から５種類に分類すると，その筆跡への影響がはっきりと特徴量に現れることがわかった．この特徴量を筆跡鑑定に活かしていくことが今後の方針となる．
Causes of Carryover	楽譜のファクシミリを精査することを繰り返す過程で，筆跡の背景に人間の感受性の根底にある体運動習性が存在することを発見した．この体運動習性と筆跡との関係をしらべるため，novel社pedarというインソール型圧力センサーを用いることで足裏体圧分布を左右１９８次元の時系列データとして抽出し，筆跡の特徴量と筆跡者の体運動習性の相関を分析した．この過程で，足裏体圧分布の変化をその動きの方向性から５種類に分類すると，その筆跡への影響がはっきりと特徴量に現れることがわかった．特に無意識的動きにこの習性があらわれることから，音楽演奏時の足裏体圧分布を測定したところ，音楽に乗れば乗るほど，この特性がよく現れることがわかった．そこで音楽演奏時の足裏体圧分布からこの体運動習性を的確に抽出するための特徴量をDTLPを考案した．この発見は偶然のものであるが，非常に重要な知見であり，国際的に認知されることが肝要であると考え，次年度国際会議での発表の必要性が生じたため，次年度使用が生じた．