2022 Fiscal Year Annual Research Report
Creating a Technological Infrastructure for the Digital Restoration of Cultural Properties Using Statistical Image Processing and Deep Learning
| Project/Area Number |
22H00748
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Kyushu National Museum |
|---|
Principal Investigator |
河野 一隆 独立行政法人国立文化財機構九州国立博物館, 学芸部, 部長 (10416555)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河原 和好 新潟国際情報大学, 経営情報学部, 准教授 (20319023)
藤田 晴啓 新潟国際情報大学, 経営情報学部, 教授 (40366513)
落合 晴彦 独立行政法人国立文化財機構九州国立博物館, 学芸部文化財課, 係員 (40772786)
竹内 俊貴 独立行政法人国立文化財機構九州国立博物館, 学芸部文化財課, 専門職 (70750149)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 無相関ストレッチ（DStretch） / 統計的画像処理 / 機械学習（CycleGANs） / 深層学習（Deep Learning） / ColBase / 文化財画像 / 画像復元 |
|---|
| Outline of Annual Research Achievements |
文化財は紫外線・赤外線等の照射エネルギー、温湿度の変化に由来した有機質素材の変質、作品表面への埃等異質物の沈着等さまざまな原因で褪色（経年劣化）する。ところが、褪色が少ない一部の文化財のみが調査研究や展示公開、修理の対象であり、大半の褪色した文化財は本来の価値に気付かれぬまま収蔵庫内に死蔵され、劣化が進行しているのが現状である。従来までの褪色した文化財の復元では、作品の表層を覆う汚濁層を水漬して物理的に除去することが普通に行われており、その結果、文化財にリスクを負わせるだけでなく莫大なコストもかかっていた。作品の保存に影響を及ぼすような物理的負荷やコストをかけずに画像復元する技術を確立することは、文化財の活用を推進するうえで不可避の研究基盤であった。
本研究では統計的画像処理技術の一種である無相関ストレッチ（DStretch）と教師無しの機械学習の一つであるCycleGANsを組み合わせることで、文化財に負荷をかけずに褪色後の文化財画像から褪色前の仮想的な文化財画像を作出する。この技術に基づいて、文化財の活用促進につながるオープンサイエンスを実践するための基盤構築を推進することが本研究の課題である。無相関ストレッチ・機械学習のいずれにも統計的画像解析が不可欠であるため、高性能の画像処理に特化したワークステーションを導入する。対象文化財は、研究班内で検討して「紺紙金字経」とし、画像解析後、肉眼で視認できない文字や図文が認識できるか、または褪色前に仮想復元した文化財画像として大きく外れていないかという点から検証して最適化したパラメータを得ることができた。これらの成果については、考古文化財ディープラーニング研究会を組織して、２週間に１度のペースで本研究に関連した諸課題をリモート形式で打ち合わせ、新潟国際情報大学内に設置されたレポジトリから発信した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
初年度の課題として、研究を推進する上で不可欠な作業環境の整備に着手した。統計的画像処理や画像データの機械学習を効率的に進めるためには、高性能のワークステーションの導入が不可避である。とくに、無相関ストレッチ（DStretch）分析は、もともとロックアートの図文を鮮明化するために開発された技術であり、計算資源を共用するためにワークステーション（DGX Station A100, NVIDIA, 520GB/320GB GPU）を導入した。国際情勢の不安定化による半導体価格等の高騰のため、機種選定と機器調達が紆余曲折し、どこまで成果が挙げられるか危ぶまれる状況に至ったが、その間クラウドサービスを駆使したアルゴリズムによるシミュレーションを構築し、準備作業を進めた。その結果、導入直後からすみやかに実践できたことが初年度から大きな成果を挙げることににつながった。
ワークステーション内へのプログラム導入後は、「紺紙金字経」の褪色前、DStretch解析後、褪色後の画像データを対象とした、本研究で提案する方法論に基づいて仮想復元された文化財画像を作出した。その結果、以下２点の成果と課題を上げることができた。①紺紙金字経の場合、無相関ストレッチによる金泥文字・図文の鮮明化と機械学習によって色情報を元に戻すための方法が確立できた。とくに画像復元に適した、特有の色空間（YBK・LDS）の有効性を検証した。②DStretchによる色空間の変換と対象画像との間の相性や、GPUに基づかない汎化モデルの設定が、今後の課題として鮮明になった。オープンサイエンスとしての技術基盤構築にとって、有効な技術であることが確認できた半面で、実践的な課題克服も不可避であることが判明した。
|
| Strategy for Future Research Activity |
次年度は、「紺紙金字経」で明らかになった課題の克服に努めるとともに、それ以外の文化財類型についても、この方法論を実践・検証していくことを目標として設定した。とくに、注目したいのは木簡や象嵌銘鉄刀・剣（金石文）などの文字史料である。文字を本研究の対象に選定する理由は、絵画だと復元対象となる図文モチーフがばらばらで、意図的な施文か否かを褪色後の画像から復元することが難しく、一方で、文字の場合は鮮明化する範囲がはっきりしており、パターン認識が絵画の場合よりも明確で、画像解析の結果判定が絵画の場合よりも容易だからである。
しかし、木簡や金石文には紺紙金字経以上の大きな課題がある。木簡は出土直後の褪色した画像の入手が難しく、入手できる画像は保存処理が加えられて文字が鮮明となったもの（褪色前画像）ばかりである。ColBaseに収録されたものについても無相関ストレッチをかける必要が無いほど、文字や図文が鮮明化したものが多い。この一方で、金石文の場合は象嵌の有無が分からない個体が対象となっているから、教師となるデータそのものが少ない。また、墨書された史料のような褪色した資料ではなく、表面を銹が物理的に覆ったもので無相関ストレッチによる解析が、どれほど有効なのかという検証からスタートする必要がある。このため、無相関ストレッチ（DStretch）と機械学習（CycleGANs）を複合した本研究で技術開発を進めている方法論の妥当性・有効性について、対象の選定や手順を見直しながら研究を推進する必要がある。
以上のように、現状では課題が多いが、将来的には人文情報学の一環として、この画像復元技術を基盤としたデータ駆動型の文化財画像の活用を推進するべく、次年度は文化財類型の幅を広げ、技術的方法の汎用化を目標にして実践的な対応に努めていきたい。
|
| Remarks |
大室古墳群の計測調査報告
http://id.nii.ac.jp/1608/00003592/
|
