• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実績報告書

統計的画像処理と機械学習を併用した文化財のデジタル復元技術の基盤創出

研究課題

研究課題/領域番号 22H00748
配分区分補助金
研究機関独立行政法人国立文化財機構九州国立博物館

研究代表者

河野 一隆  独立行政法人国立文化財機構九州国立博物館, 学芸部, 部長 (10416555)

研究分担者 河原 和好  新潟国際情報大学, 経営情報学部, 准教授 (20319023)
藤田 晴啓  新潟国際情報大学, 経営情報学部, 教授 (40366513)
落合 晴彦  独立行政法人国立文化財機構九州国立博物館, 学芸部文化財課, 係員 (40772786)
竹内 俊貴  独立行政法人国立文化財機構九州国立博物館, 学芸部文化財課, 専門職 (70750149)
研究期間 (年度) 2022-04-01 – 2026-03-31
キーワード無相関ストレッチ(DStretch) / 統計的画像処理 / 機械学習(CycleGANs) / 深層学習(Deep Learning) / ColBase / 文化財画像 / 画像復元
研究実績の概要

文化財は紫外線・赤外線等の照射エネルギー、温湿度の変化に由来した有機質素材の変質、作品表面への埃等異質物の沈着等さまざまな原因で褪色(経年劣化)する。ところが、褪色が少ない一部の文化財のみが調査研究や展示公開、修理の対象であり、大半の褪色した文化財は本来の価値に気付かれぬまま収蔵庫内に死蔵され、劣化が進行しているのが現状である。従来までの褪色した文化財の復元では、作品の表層を覆う汚濁層を水漬して物理的に除去することが普通に行われており、その結果、文化財にリスクを負わせるだけでなく莫大なコストもかかっていた。作品の保存に影響を及ぼすような物理的負荷やコストをかけずに画像復元する技術を確立することは、文化財の活用を推進するうえで不可避の研究基盤であった。
本研究では統計的画像処理技術の一種である無相関ストレッチ(DStretch)と教師無しの機械学習の一つであるCycleGANsを組み合わせることで、文化財に負荷をかけずに褪色後の文化財画像から褪色前の仮想的な文化財画像を作出する。この技術に基づいて、文化財の活用促進につながるオープンサイエンスを実践するための基盤構築を推進することが本研究の課題である。無相関ストレッチ・機械学習のいずれにも統計的画像解析が不可欠であるため、高性能の画像処理に特化したワークステーションを導入する。対象文化財は、研究班内で検討して「紺紙金字経」とし、画像解析後、肉眼で視認できない文字や図文が認識できるか、または褪色前に仮想復元した文化財画像として大きく外れていないかという点から検証して最適化したパラメータを得ることができた。これらの成果については、考古文化財ディープラーニング研究会を組織して、2週間に1度のペースで本研究に関連した諸課題をリモート形式で打ち合わせ、新潟国際情報大学内に設置されたレポジトリから発信した。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

初年度の課題として、研究を推進する上で不可欠な作業環境の整備に着手した。統計的画像処理や画像データの機械学習を効率的に進めるためには、高性能のワークステーションの導入が不可避である。とくに、無相関ストレッチ(DStretch)分析は、もともとロックアートの図文を鮮明化するために開発された技術であり、計算資源を共用するためにワークステーション(DGX Station A100, NVIDIA, 520GB/320GB GPU)を導入した。国際情勢の不安定化による半導体価格等の高騰のため、機種選定と機器調達が紆余曲折し、どこまで成果が挙げられるか危ぶまれる状況に至ったが、その間クラウドサービスを駆使したアルゴリズムによるシミュレーションを構築し、準備作業を進めた。その結果、導入直後からすみやかに実践できたことが初年度から大きな成果を挙げることににつながった。
ワークステーション内へのプログラム導入後は、「紺紙金字経」の褪色前、DStretch解析後、褪色後の画像データを対象とした、本研究で提案する方法論に基づいて仮想復元された文化財画像を作出した。その結果、以下2点の成果と課題を上げることができた。①紺紙金字経の場合、無相関ストレッチによる金泥文字・図文の鮮明化と機械学習によって色情報を元に戻すための方法が確立できた。とくに画像復元に適した、特有の色空間(YBK・LDS)の有効性を検証した。②DStretchによる色空間の変換と対象画像との間の相性や、GPUに基づかない汎化モデルの設定が、今後の課題として鮮明になった。オープンサイエンスとしての技術基盤構築にとって、有効な技術であることが確認できた半面で、実践的な課題克服も不可避であることが判明した。

今後の研究の推進方策

次年度は、「紺紙金字経」で明らかになった課題の克服に努めるとともに、それ以外の文化財類型についても、この方法論を実践・検証していくことを目標として設定した。とくに、注目したいのは木簡や象嵌銘鉄刀・剣(金石文)などの文字史料である。文字を本研究の対象に選定する理由は、絵画だと復元対象となる図文モチーフがばらばらで、意図的な施文か否かを褪色後の画像から復元することが難しく、一方で、文字の場合は鮮明化する範囲がはっきりしており、パターン認識が絵画の場合よりも明確で、画像解析の結果判定が絵画の場合よりも容易だからである。
しかし、木簡や金石文には紺紙金字経以上の大きな課題がある。木簡は出土直後の褪色した画像の入手が難しく、入手できる画像は保存処理が加えられて文字が鮮明となったもの(褪色前画像)ばかりである。ColBaseに収録されたものについても無相関ストレッチをかける必要が無いほど、文字や図文が鮮明化したものが多い。この一方で、金石文の場合は象嵌の有無が分からない個体が対象となっているから、教師となるデータそのものが少ない。また、墨書された史料のような褪色した資料ではなく、表面を銹が物理的に覆ったもので無相関ストレッチによる解析が、どれほど有効なのかという検証からスタートする必要がある。このため、無相関ストレッチ(DStretch)と機械学習(CycleGANs)を複合した本研究で技術開発を進めている方法論の妥当性・有効性について、対象の選定や手順を見直しながら研究を推進する必要がある。
以上のように、現状では課題が多いが、将来的には人文情報学の一環として、この画像復元技術を基盤としたデータ駆動型の文化財画像の活用を推進するべく、次年度は文化財類型の幅を広げ、技術的方法の汎用化を目標にして実践的な対応に努めていきたい。

備考

大室古墳群の計測調査報告
http://id.nii.ac.jp/1608/00003592/

  • 研究成果

    (13件)

すべて 2023 その他

すべて 雑誌論文 (1件) (うちオープンアクセス 1件) 学会発表 (7件) 備考 (5件)

  • [雑誌論文] 統計的画像処理と機械学習による 文化財のデジタル画像復元2023

    • 著者名/発表者名
      河野一隆 ,板垣正敏,藤田晴啓,河原和好,山本亮,市川健太,南雲彩花
    • 雑誌名

      日本情報考古学会講演論文集

      巻: - ページ: -

    • オープンアクセス
  • [学会発表] 統計的画像処理と機械学習による 文化財のデジタル画像復元2023

    • 著者名/発表者名
      河野 一隆 ・板垣 正敏・藤田 晴啓・河原 和好・山本 亮・市川 健太・南雲 彩花
    • 学会等名
      日本情報考古学会 第47回大会
  • [学会発表] 須恵器坏3D-RGBA 128x128x128Voxelデータによる疑似ラベル教師付き分類+深層クラスターと専門家型 式・年代分類との比較2023

    • 著者名/発表者名
      藤田 晴啓・南雲 彩花・山本 亮・市川 健太
    • 学会等名
      考古文化財ディープラーニング研究会
  • [学会発表] 須恵器スキャンデータの3D-RGBA 128x128x128解像度Voxelデータによる教師付き分類の試行2023

    • 著者名/発表者名
      山本 亮・藤田 晴啓・南雲 彩花・市川 健太
    • 学会等名
      考古文化財ディープラーニング研究会
  • [学会発表] 縄文土器3D深層学習クラスター解析に向けたVoxel解像度差の影響評価2023

    • 著者名/発表者名
      宮尾 亨・南雲 彩花・藤田 晴啓・板垣 正敏・市川 健太・河野 一隆
    • 学会等名
      考古文化財ディープラーニング研究会
  • [学会発表] 縄文土器における修復部位検出のための点群セグメンテーション手法の検討2023

    • 著者名/発表者名
      南雲 彩花・市川 健太・宮尾 亨・藤田 晴啓・板垣 正敏・河野 一隆
    • 学会等名
      考古文化財ディープラーニング研究会
  • [学会発表] DStretchによって強調処理された画像の色空間を復元するCycleGANの学習2023

    • 著者名/発表者名
      板垣 正敏・ 河野 一隆・藤田 晴啓
    • 学会等名
      考古文化財ディープラーニング研究会
  • [学会発表] 大室古墳群の計測調査の報告2023

    • 著者名/発表者名
      河原和好
    • 学会等名
      考古文化財ディープラーニング研究会
  • [備考] 統計的画像処理と機械学習による文化財のデジタル画像復元

    • URL

      http://id.nii.ac.jp/1608/00003595/

  • [備考] 疑似ラベル教師付き分類+深層クラスターと専門家型式・年代分類との比較

    • URL

      http://id.nii.ac.jp/1608/00003598/

  • [備考] Voxelデータによる教師付き分類の試行

    • URL

      http://id.nii.ac.jp/1608/00003597/

  • [備考] 縄文土器3D深層学習クラスター解析に向けたVoxel解像度差の影響評価

    • URL

      http://id.nii.ac.jp/1608/00003596/

  • [備考] 縄文土器における修復部位検出のための点群セグメンテーション手法の検討

    • URL

      http://id.nii.ac.jp/1608/00003594/

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi