ファインチューニングを用いた筆跡鑑定手法

2022 Fiscal Year Research-status Report

• Project/Area Number: 21K18017
• Research Institution: Keio University
• Principal Investigator: 新妻 雅弘 慶應義塾大学, システムデザイン・マネジメント研究科(日吉), 講師 (50733135)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 筆跡鑑定 / ファインチューニング / XAI / 説明可能性

Outline of Annual Research Achievements

本研究で究明せんとする対象は、大規模画像データによる事前学習によって、筆跡サンプルの少ない筆跡者の判定精度向上をいかに達成するかである。前年度は、過学習を避けるための方策として、特定の距離関数を用いた対象ドメインのデータ外類似データを用いた事前学習の有効性を検証した。対象となる筆跡 データの分類に有効なネットワークの学習にとって、有効に事前学習を可能にするためのデータ選択方法について分析した。具体的にはImageNetやXceptionなど の大規模画像データセットと対象筆跡データの類似度を様々な尺度を用いて計算し、事前学習したことによる精度向上を検証した。
本年度は、パブリックデータによる検証から一歩進んで、ドイツバッハ資料財団でのみアクセスできる多様な筆跡データを用いた有効性検証をおこな予定であった。コロナ下の移動制限の制約を受けて、実験予定を変更し、主にファインチューニング結果の説明可能性に関する検討を行った。所々の画像データベース間距離尺度によって得られた近傍データを用いたファインチューニングの結果を解釈し、ドメインエキスパートに説明するための手法を検討した。主に身体性と筆跡の関係性に着目し、人体の類型を行動中心となる腰椎に着目して分析を行った。また深層学習の説明可能性を向上させるための種々の手法を比較検討し、その中で特に、敵対的学習を援用した反実仮想説明の実効性が際立っているという知見を得ることができた。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

コロナ下においてドイツライプツィヒバッハ資料財団での実験を行うことが難しくなったため、日本国内で行うことのできる実施内容に変更して行っている。

Strategy for Future Research Activity

今後のコロナの状況により、現地での検証やバッハ資料財団の音楽学者によるレビューによる検証を行う予定であるが、国内の音楽学者と協力し、ドイツ訪問なしで有効な検証が行えないかも合わせて検討する。

Causes of Carryover

今後のコロナの状況により、現地での検証やバッハ資料財団の音楽学者によるレビューを行い、
ファインチューニングによる精度向上・敵対的学習を援用した反実仮想説明結果の専門家によるAIに対する信頼性向上の検証を行う予定である。このための旅費、国際会議発表・学術論文出版のための費用として研究費用を使用する予定である。