| Project/Area Number |
23K22020
|
|---|
| Project/Area Number (Other) |
22H00748 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 03070:Museology-related
|
|---|
| Research Institution | Tokyo National Museum (2023-2024)
Kyushu National Museum (2022) |
|---|
Principal Investigator |
河野 一隆 独立行政法人国立文化財機構東京国立博物館, 学芸研究部, 部長 (10416555)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河原 和好 新潟国際情報大学, 経営情報学部, 准教授 (20319023)
藤田 晴啓 新潟国際情報大学, 経営情報学部, 教授 (40366513)
落合 晴彦 独立行政法人国立文化財機構九州国立博物館, 学芸部文化財課, 主任 (40772786)
竹内 俊貴 独立行政法人国立文化財機構九州国立博物館, 学芸部文化財課, 専門職 (70750149)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥16,250,000 (Direct Cost: ¥12,500,000、Indirect Cost: ¥3,750,000)
Fiscal Year 2025: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2024: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2023: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Fiscal Year 2022: ¥9,490,000 (Direct Cost: ¥7,300,000、Indirect Cost: ¥2,190,000)
|
|---|
| Keywords | 無相関ストレッチ（DStretch） / 機械学習 / CycleGANs / 文化財復元 / オープンサイエンス / 統計的画像処理 / 機械学習（CycleGANs） / 深層学習（Deep Learning） / ColBase / 文化財画像 / 画像復元 / CAA / CycleGAN / 人文情報学 / 無相関ストレッチ |
|---|
| Outline of Research at the Start |
本課題では、まず褪色した文化財の画像を対象に統計的画像処理（無相関ストレッチ）を適用し、色空間を変更して図文を鮮明化する。次に、その画像と褪色が進んでいない類似作品の画像を相互に真偽判定させる機械学習（CycleGANs）を適用し、褪色前の文化財の復元画像を生成する技術を開発する。その実践として雨水のため金泥が流れてしまった装飾経（紺紙金字経）の画像を解析し、肉眼では判別が困難な料紙に書かれた経文や仏画などを鮮明化する。この方法は、褪色した文化財に負荷やコストをかけずに画像復元できるため、今後の調査研究や活用へ大きく寄与する技術基盤となることが期待され、他の文化財にも適用する実験を進めている。
|
| Outline of Annual Research Achievements |
文化財は紫外線・赤外線等の照射エネルギー、温湿度の変化に由来した有機質素材の変質、作品表面への埃等異質物の沈着等さまざまな原因で褪色する。褪色すると、文字資料の場合は歴史的価値、絵画作品の場合は美術的価値を毀損する。したがって、大半の文化財は褪色のリスクを避けるため収蔵庫内に死蔵されてしまい、学芸員にも気づかれずに劣化が進行する。一方、従来の文化財修理では、作品の表層を覆う汚濁層を水漬して物理的に除去することが普通に行われ、文化財にリスクを負わせるだけでなく莫大なコストもかかっていた。
本課題では統計的画像処理技術の一種である無相関ストレッチ（DStretch）と教師無しの機械学習の一つであるCycleGANsを組み合わせることで、文化財に負荷をかけずに褪色後の文化財画像から褪色前の仮想的な文化財画像を作出する研究である。この技術に基づいて、文化財の活用促進につながるオープンサイエンスを実践するための基盤構築を推進した。そのためには、無相関ストレッチ・機械学習のいずれに対しても統計的画像解析が不可欠であり、基礎となる画像データベースとして国立文化財機構のColBaseに搭載された多彩な分野の作品データを対象として、機械学習の実験を行った。。中でも、「紺紙金字経」を対象とした実験では、画像解析後、肉眼で視認できない文字や図文が認識できるか、褪色前に仮想復元した文化財画像として有効かという点から検証して最適化したパラメータを取得することができた。これらの成果については、 考古文化財ディープラーニング研究会を組織して、２週間に１度のペースで本研究に関連したさまざまな課題をリモート形式で打ち合わせ、新潟国際情報大学内に設置されたレポジトリから発信した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
昨年度の試行研究が想定以上の成果を上げたことを受けて、本年は統計的画像処理や画像データの機械学習を円滑に推進できるように方法論の確立と課題の整理につとめた。 まず、ワークステーション内へのプログラム導入後、「紺紙金字経」の褪色前、DStretch解析後、褪色後の画像データを対象として文化財の仮想復元画像を作出した。その結果、以下２点の成果と課題を上げることができた。①紺紙金字経の場合、無相関ストレッチによる金泥文 字・図文の鮮明化と機械学習によって色情報を元に戻すための方法が確立できた。とくに画像復元に適した、特有の色空間（YBK・LDS）の有効性を検証した。② DStretchによる色空間の変換と対象画像との間の相性や、GPUに基づかない汎化モデルの設定が、今後の課題として明らかとなった。つぎに、CycleGANsの場合では、前進・後退損失、同一性損失を比較して画像復元における損失関数の推移を検証した。また、画像への負荷と損失関数のハイパーパラメータλを変化させて、出力画像のエラーを比較検討した。以上の成果を不動産文化財のケースと比較して、CycleGANsによる画像復元の特性について明確化することができた。以上の成果をSEAA(Society of Eastern Asian Archaeology)BeijingやCAA(Computer Applications and Quantitative Methods in Archaeology)2024Aucklndで発表した。とくに、後者では高く評価され、３年後の日本開催を打診されるほどであった。
その他、現状の撮影技術を向上すべく撮影機材に関しての情報収集を行い、世界的な画像利用の実態を調査して、来るべきオープン・サイエンスの実現に向けての準備を進めた。
|
| Strategy for Future Research Activity |
今後は本研究で確立した技術を組み込んだ、包括的なデジタル・ミューゼオロジーという新たな学術領域を創成する方向で、分野を越えた要素技術の体系化を推進する。デジタル・ミューゼオロジーが新たに必要とされる理由は以下の通りである。現在の博物館は多様化する社会的使命に答えられる基盤の強化が喫緊の課題となっている。しかし、現状の博物館学では現在の博物館が直面する課題に十分に応えられているとは言えない。その理由は博物館を支える理論的基盤であるべき博物館学が、博物館黎明期からの収蔵品中心に組み立てられているためであり、情報どうしの関係によって構築されるデジタル・ミュージアムのための理論へとアップデートされていないからである。そこで、本研究では、継続的に開催している考古文化財ディープラーニング研究会を発展させ、デジタル・ミューゼオロジーを博物館の機能に沿って①登録（作品Digitizing）、②調査研究（Digital Analysis）、③公開（Presentation）、④保存修復（Restoration）に分けて、外部ユーザーとコミュニケーションするための⑤大規模言語モデルの開発の５つで構成される領域研究を推進する。このうち、本研究は④として体系化をはかる。本研究の最終目標であるデータ駆動型のオープン・サイエンスを実現するために、次世代のデジタル・ミューゼオロジーの骨格を構成する要素技術を、分野を越えた多方面との協力に基づいて確立する。
|
