2023 Fiscal Year Research-status Report
Establishing a technical basis for statistical image processing and deep learning for the digital restoration of cultural heritage.
| Project/Area Number |
22K18496
|
|---|
| Research Institution | Tokyo National Museum |
|---|
Principal Investigator |
河野 一隆 独立行政法人国立文化財機構東京国立博物館, 学芸研究部, 部長 (10416555)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
藤田 晴啓 新潟国際情報大学, 経営情報学部, 教授 (40366513)
落合 晴彦 独立行政法人国立文化財機構九州国立博物館, 学芸部文化財課, 主任 (40772786)
竹内 俊貴 独立行政法人国立文化財機構九州国立博物館, 学芸部文化財課, 専門職 (70750149)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Keywords | 無相関ストレッチ（DStretch） / 機械学習（Deep Learning） / CycleGANs / 文化財復元 / オープン・サイエンス / 生成AI / デジタル・ミューゼオロジー / CAA |
|---|
| Outline of Annual Research Achievements |
文化財は、紫外線・赤外線等の照射エネルギー、温湿度の変化に由来した有機質素材の変質、表面への埃などの異質物の沈着等さまざまな原因のために褪色する。いったん褪色してしまうと、復元するためには熟達した専門家による修理以外に方法が無い。大半の文化財は褪色のリスクを避けるために収蔵庫内に死蔵され、 学芸員にも気づかれずに劣化が進むという問題を克服できなかった。本研究では、ChatGPTをはじめとする技術の進化が目覚ましい生成AIを活用し、褪色した文化財を画像上で復元する技術開発に挑戦する。現在、この技術を文化財や博物館に応用した実践的研究はあまり見られない。その理由は、文化財が工業製品のような既製品ではなく唯一無二であるため、大量のデータを必要とする機械学習には向いていなかったからだ。
そこで、本研究では統計的画像処理技術の一種である無相関ストレッチ（DStretch）と教師無しの機械学習の一つであるCycleGANsを組み合わせることで、文化財に負荷をかけずに褪色後の文化財画像から褪色前の仮想的な文化財画像を作出する方法を考案した。この方法論に基づいて、文化財の活用促進につながるオープン・サイエンスを実践するための要素技術の開発を推進した。無相関ストレッチ・機械学習のいずれにも統計的画像解析が不可欠である。そこで、褪色前と褪色後の同一でない文化財を仮想復元した文化財画像で検証し、最適化したパラメータを取得するための実験を積み重ね、多様な類型の文化財に応じた方法を確立した。その成果は考古文化財ディープラーニング研究会の中で、国内向けにはレポジトリによって共有すると共に、積極的に国際学会にエントリーしてその有効性を広く発信した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、統計的画像処理によって機械学習に影響を及ぼす損失関数について検討した。文化財固有の色を強調するためには、特定のパラメータと結びついたカラープロファイルの変換が必要である。たとえば、本研究で行った実験によれば、金色あるいは黄色の場合は、カラープロファイルがYBKまたはLDSが有効であることが分かった。ところが、画像のデータ型式をjpgにすると、すでに圧縮がかかっているため、さらに機械学習にかけることで画像が白く劣化する現象が発生した。また、コントラストの強い画像を、平準化（Flatten）させても同様に画像劣化が発生した。この技術に最適なデータは、tiffやpng、epsなど圧縮されておらず、解像度も高い画像データ型式であるほどより良好な結果が得られることが分かった。
また、CyvcleGANsの有効な損失関数のパラメーターを探るため、さまざまなハイパーパラメータλを代入して損失関数と出力画像の関係性を検証した。その結果、機械学習による文化財の画像復元を進めるためには、GPUに基づかない汎化モデルの構築が将来的な課題となることが見い出せた。この問題を克服するために、他の材質の文化財でも検証が必要と考え、不動産文化財（秋田県大湯環状列石）でのCyvcleGANs解析を試行した。
以上の研究成果をSEAA(Society of Eastern Asian Archaeology)BeijingやCAA(Computer Applications and Quantitative Methods in Archaeology)2024 Aucklndで発表し、とくに後者では大きな反響が得られた。
|
| Strategy for Future Research Activity |
現在、ミュージアムDXなどデジタル技術を博物館に活用することが社会的にも要請されており、昨年度に改正された博物館法でも焦点の一つとなっている。ところが、それが日本であまり普及していない大きな理由は、デジタル・アーカイブの構築が既存の博物館業務にさらに付加される形で要請されており、著しい変革を迎えている日本の博物館が直面する課題を解決するための理論的な支柱に、既存の博物館学が対応していないためだ。生成AIの目覚ましい進化によって、博物館と社会を繋ぐ方法は大きく変化した。本研究で推進する文化財画像のデジタル復元もその一環であり、特定の技術者しかできない文化財修理から、オープン・アクセス可能なデジタル修理へと変革させる（Transformation）途上に位置付けられる研究である。すなわち、ミュージアムDXをさらに進めていくためには、モノ（収蔵品）駆動型からデータ駆動型に再編するための学術的な体系化が必要だ。すなわち、デジタル・ミューゼオロジーという新たな学術領域の創成が不可欠なのだ。
2024年度が最終年度となる本研究では、画像主成分分析と機械学習を併用したデジタル復元（Digital Restoration）の技術を確立する。すなわち、文化財固有の色に対応したカラープロファイルを明らかにし、損失関数の推移を定量的に可視化することで、汎化モデルの確立を目標とする。さらに、2027年に国際学会CAAを日本で開催し、そこでデジタル・ミューゼオロジー・セッションを立ち上げて日本から新しい学術領域の積極的な発信につとめる。
|
| Causes of Carryover |
2024年度にニュージーランドのオークランドで開催される、CAA2024での口頭発表が決定したため、次年度に海外発表するための財源を前年度に確保する必要が生じた。本発表は、2024年４月11日にオークランド大学の会場で行う計画である。
|
