ファインチューニングを用いた筆跡鑑定手法

• Project/Area Number: 21K18017
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 90020:Library and information science, humanistic and social informatics-related
• Research Institution: Keio University
• Principal Investigator: 新妻 雅弘 慶應義塾大学, システムデザイン・マネジメント研究科(日吉), 講師 (50733135)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000); Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2021: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
• Keywords: 筆跡鑑定 / ファインチューニング / XAI / 説明可能性 / 深層学習 / 音楽情報処理 / OMR / バッハ研究 / 画像処理 / デジタル・ヒューマニティーズ

Outline of Research at the Start

多階層CNN によって古楽譜の多層構造を抽出する役割をもつ中間層をもつニューラルネットワークを設計し、二値化などの前処理をすることなく筆跡者を判別するという問題において、大規模画像データによる事前学習によって入力に近い畳み込み層に学習される汎用的画像認識能力がサンプル数が少ないドメインにおいて有効となるような大規模画像データはどのようなものであるか検証し、筆跡サンプルの少ない筆跡者判定精度の向上を目指す。

Outline of Annual Research Achievements

本研究で究明せんとする対象は、大規模画像データによる事前学習によって、筆跡サンプルの少ない筆跡者の判定精度向上をいかに達成するかである。前年度は、過学習を避けるための方策として、特定の距離関数を用いた対象ドメインのデータ外類似データを用いた事前学習の有効性を検証した。対象となる筆跡 データの分類に有効なネットワークの学習にとって、有効に事前学習を可能にするためのデータ選択方法について分析した。具体的にはImageNetやXceptionなど の大規模画像データセットと対象筆跡データの類似度を様々な尺度を用いて計算し、事前学習したことによる精度向上を検証した。
本年度は、パブリックデータによる検証から一歩進んで、ドイツバッハ資料財団でのみアクセスできる多様な筆跡データを用いた有効性検証をおこな予定であった。コロナ下の移動制限の制約を受けて、実験予定を変更し、主にファインチューニング結果の説明可能性に関する検討を行った。所々の画像データベース間距離尺度によって得られた近傍データを用いたファインチューニングの結果を解釈し、ドメインエキスパートに説明するための手法を検討した。主に身体性と筆跡の関係性に着目し、人体の類型を行動中心となる腰椎に着目して分析を行った。また深層学習の説明可能性を向上させるための種々の手法を比較検討し、その中で特に、敵対的学習を援用した反実仮想説明の実効性が際立っているという知見を得ることができた。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

コロナ下においてドイツライプツィヒバッハ資料財団での実験を行うことが難しくなったため、日本国内で行うことのできる実施内容に変更して行っている。

Strategy for Future Research Activity

今後のコロナの状況により、現地での検証やバッハ資料財団の音楽学者によるレビューによる検証を行う予定であるが、国内の音楽学者と協力し、ドイツ訪問なしで有効な検証が行えないかも合わせて検討する。