2022 Fiscal Year Research-status Report
Establishing a technical basis for statistical image processing and deep learning for the digital restoration of cultural heritage.
| Project/Area Number |
22K18496
|
|---|
| Research Institution | Kyushu National Museum |
|---|
Principal Investigator |
河野 一隆 独立行政法人国立文化財機構九州国立博物館, 学芸部, 部長 (10416555)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
藤田 晴啓 新潟国際情報大学, 経営情報学部, 教授 (40366513)
落合 晴彦 独立行政法人国立文化財機構九州国立博物館, 学芸部文化財課, 係員 (40772786)
竹内 俊貴 独立行政法人国立文化財機構九州国立博物館, 学芸部文化財課, 専門職 (70750149)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Keywords | 無相関ストレッチ（DStretch） / 機械学習 / CycleGANs / ColBase / 色空間（カラープロファイル） / 紺紙金字経 / データ駆動型研究 / 人文情報学 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、統計的画像処理技術の一種である無相関ストレッチ（DStretch）と教師無しの機械学習の一つであるCycleGANsの技術を応用し、作品に負荷をかけることなく褪色した文化財画像から制作当初に近いものを作出する技術を開発することである。この技術は、もともとは露天の岩刻画や壁画など著しく褪色した不動産文化財を鮮明化するために考案されたものだが、世界的にみても博物館収蔵品への適用事例はほとんど無かった。その理由は、描かれた図文や文字などを鮮明化するために、色空間（カラープロファイル）を著しく強調するアルゴリズムがプログラムの中に組み込まれ、色変換の必要の無い部分も変換されるため、作品本来の鑑賞を著しく阻害する結果を招くからであった。
今年度の課題は、機械学習を援用し強調変換した色空間をオリジナルの色空間へと、モチーフの形状を変えることなく逆変換させる技術的方法の開発に設定した。褪色した文化財の制作当初の色空間は不明である。そこで、褪色前の類似した文化財の画像データを機械学習によって多数学習させ、確からしいオリジナル画像での色空間を再構築する。そこに、無相関ストレッチで強調変換した文化財画像と仮想的なオリジナルの色空間との間で、教師無し学習の一種であるCycleGANs解析を実施することで制作当初に限りなく近い文化財画像が作出できる。むろん、これは真の画像ではなくCycleGANsの原理に基づいて作出した偽の画像であるが、作品の鑑賞性はDStretchだけの場合と比べて大きく向上するはずである。以上の理論を検証するために、今年度は「紺紙金字経」を題材にした技術開発に着手し、良好な成果が得られた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究を進めるにあたり、最初の大きな課題は、機械学習にかけるための素材となる、無相関ストレッチを実施した文化財画像、および褪色前の類似した文化財画像をいかに効率的に収集するかにまず直面した。インターネット上には文化財画像は多くあるが、研究目的で制約なく利用できる画像データを大量に収集しなければならない。
その克服のために、①収録データの真正性が担保され制約なく利用できる画像データベースの存在、②このデータベースから機械学習のための多量のデータを取得する方法の構築を急ぐ必要があった。そこで、14万件の文化財情報と9万枚の画像を登録するColBase（国立文化財機構所蔵品統合検索システム）に注目し、実際に九州国立博物館でデータ登録に携わっている分担者の竹内・落合から助言を受けつつ、今年度の対象作品を「紺紙金字経」に絞った。
つぎに、ColBaseに収録された画像データの中から、任意のキーワードで特定される文化財画像を自動収集するプログラムを開発した。そこで「紺紙金字経」でヒットした膨大な画像データの中から褪色が進行した文化財画像を選択した。さらに、DStretchで特定色を強調する色空間設定に対応して、画像解析を自動化するプログラムを開発した。
これらを受けて、藤田を中心として機械学習の研究会を組織し、研究目的に合致したCycleGANs解析のアルゴリズムを検討した。いきなりプログラムを組むことはせず、アルゴリズムについての試行錯誤を重ね、条件の最適化について模索した。「紺紙金字経」に特化したプログラムを開発・導入した後には、損失関数にある学習時のハイパーパラメータλを適宜変えながら、仮想的な褪色前の文化財画像が問題なく作出できているかの検証を行った。
|
| Strategy for Future Research Activity |
今年度、研究を進めた中で見えてきた課題は次のとおりである。まず、DStretchで解析すると、褪色した描線を鮮明化するために、不均一な光の色ムラを平滑化（flatten）したり照度調整（Adj Lumina）を加えて色空間を変換することに起因し、いずれも著しいブロックタイリングが発生した。これはDStretchの色空間の変換と対象画像との間の相性の問題と考えられ、ColBaseに登録された画像の解像度が低いか、あるいは強くjpg圧縮がかかったものについては、DStretchを加えることで劣化が一層促進した可能性が考えられる。
次に、機械学習（CycleGANs）を行った場合に、①雲状に背景が白くなる、②上下に入力にはない余白が現れる、③入力にはない格子状の規則的な模様が現れるという問題が発生した。損失関数を分析すると生成した画像が白に近いほど損失が低下する現象が生じた。これが原因で学習が進むと、①が発生すると想定され、損失関数にある学習時のハイパーパラメータλを10から100に徐々に変化させて損失関数の低下を検証した。その結果、10よりも100に近い方が背景の白化現象が逓減する予測通りの結果が得られた。②・③については褪色前画像の余白や文字・図文の大きさに引きずられた結果の可能性があり、褪色前と褪色後とが類似しない場合は注意が必要であることが分かった。一般に機械学習モデルでは、学習後のモデルを新しいデータに適用し期待した出力を得るが、褪色前と褪色後とが類似しない場合には毎回、DStretchとCycleGANsの学習を行わなければならず、この問題克服を次の課題として設定した。
本研究は初年度にしては大きな成果を上げることができたが、進める上での課題も見えてきた。今年度の実践から派生した課題と原因とをふまえ、より最適化した画像復元に向けての技術改良を推進していきたい。
|
| Causes of Carryover |
今年度は、新型コロナウイルスの影響のため、海外渡航による国際学会での情報発信が叶わなかった。このため、今年度の執行を抑え、次年度以降の海外渡航による経費を見越して、次年度以降へ繰り越した。
|
