2022 Fiscal Year Annual Research Report

Multi-modal representation learning for improving the retrieval of Ukiyo-e records

Research Project

Project/Area Number	21J15425
Research Institution	Ritsumeikan University
Principal Investigator	李康穎立命館大学, 情報理工学研究科, 特別研究員(PD)
Project Period (FY)	2021-04-28 – 2023-03-31
Keywords	マルチモーダル表現学習 / 人物情報抽出 / 浮世絵レコード検索
Outline of Annual Research Achievements	近年、美術品のデジタル化とデータベース化が急速に進展し、研究者にとって重要な資源となっている。この状況を踏まえ、本研究課題では、浮世絵レコードのメタデータと画像データを活用したマルチモーダル表現学習を導入し、浮世絵検索システムの構築などへの応用を目指して技術開発が進められている。美術品を調査する研究者には、人文学だけでなく、材料科学、物理学など、さまざまな分野の研究者も含まれる。既存の画像検索システムでは、調色や色彩、顔料を中心に研究している異なる分野の研究者が必要な記録を見つけるのが難しい場合がある。そこで、言語空間に含まれる色の人間の感覚特性と、与えられた美術品のスケッチの幾何学的特性を使用して、CLIP（Contrastive Language-Image Pre-Training）に基づくクロスモーダルマルチタスクファインチューニング方法を提案した。提案された検索フレームワークは希少な色を直感的に検索するのに効果的であり、少量のデータでテキストの説明と色情報の対応が改善されることが示され、さまざまな分野の研究者が美術品の色に関する情報を効果的に検索できるようになった。この提案された手法により、研究者は希少な色の使用例を見つけることが容易になり、美術品研究の検索支援アプリの開発が期待できる。日本文化DAに対する情報抽出技術に関しては、「日本人名辞典」からの歴史人物情報抽出においてfew-shot learning（FSL）を活用することを試みた。自動化された情報抽出技術によって、研究者が効率的に人物に関する情報を収集し、歴史的文脈を理解することが容易になった。さらに、FSLの活用により、学習データの作成コストを削減し、歴史研究のための情報抽出技術の普及を促進することが期待できる。
Research Progress Status	令和4年度が最終年度であるため、記入しない。
Strategy for Future Research Activity	令和4年度が最終年度であるため、記入しない。