| Project/Area Number |
21J15425
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 90020:Library and information science, humanistic and social informatics-related
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
李 康穎 立命館大学, 情報理工学研究科, 特別研究員(PD)
|
|---|
| Project Period (FY) |
2021-04-28 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥1,500,000 (Direct Cost: ¥1,500,000)
Fiscal Year 2022: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
|
|---|
| Keywords | マルチモーダル表現学習 / 人物情報抽出 / 浮世絵レコード検索 / 古代文字認識 / 字形検索 / 距離学習 |
|---|
| Outline of Research at the Start |
本研究では，立命館大学アート・リサーチセンター（ARC）から公開されている浮世絵データベースを例に，浮世絵レコードのメタデータと画像データを用いたマルチモーダル表現学習の導入を考慮し，複数データソースにおけるクロスドメイン検索，クロスモーダル多言語横断検の実現を目的とし，申請者のこれまでの研究および考察結果に基づき研究を行う予定である．研究の成果は，国際化する人文学における教育支援システムの構築，浮世絵文化に関する質問応答システムの構築，浮世絵レコード検索精度の向上，浮世絵推薦システムなどの構築への活用が期待され，人文系研究者に対して学術的価値のあるデータを用いた便利なツールを提供できる．
|
| Outline of Annual Research Achievements |
近年、美術品のデジタル化とデータベース化が急速に進展し、研究者にとって重要な資源となっている。この状況を踏まえ、本研究課題では、浮世絵レコードのメタデータと画像データを活用したマルチモーダル表現学習を導入し、浮世絵検索システムの構築などへの応用を目指して技術開発が進められている。美術品を調査する研究者には、人文学だけでなく、材料科学、物理学など、さまざまな分野の研究者も含まれる。既存の画像検索システムでは、調色や色彩、顔料を中心に研究している異なる分野の研究者が必要な記録を見つけるのが難しい場合がある。そこで、言語空間に含まれる色の人間の感覚特性と、与えられた美術品のスケッチの幾何学的特性を使用して、CLIP（Contrastive Language-Image Pre-Training）に基づくクロスモーダルマルチタスクファインチューニング方法を提案した。提案された検索フレームワークは希少な色を直感的に検索するのに効果的であり、少量のデータでテキストの説明と色情報の対応が改善されることが示され、さまざまな分野の研究者が美術品の色に関する情報を効果的に検索できるようになった。この提案された手法により、研究者は希少な色の使用例を見つけることが容易になり、美術品研究の検索支援アプリの開発が期待できる。日本文化DAに対する情報抽出技術に関しては、「日本人名辞典」からの歴史人物情報抽出においてfew-shot learning（FSL）を活用することを試みた。自動化された情報抽出技術によって、研究者が効率的に人物に関する情報を収集し、歴史的文脈を理解することが容易になった。さらに、FSLの活用により、学習データの作成コストを削減し、歴史研究のための情報抽出技術の普及を促進することが期待できる。
|
| Research Progress Status |
令和4年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和4年度が最終年度であるため、記入しない。
|
