| 研究課題/領域番号 |
22K18496
|
|---|
| 研究種目 |
挑戦的研究(萌芽)
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
中区分3:歴史学、考古学、博物館学およびその関連分野
|
|---|
| 研究機関 | 独立行政法人国立文化財機構九州国立博物館 |
|---|
研究代表者 |
河野 一隆 独立行政法人国立文化財機構九州国立博物館, 学芸部, 部長 (10416555)
|
|---|
| 研究分担者 |
藤田 晴啓 新潟国際情報大学, 経営情報学部, 教授 (40366513)
落合 晴彦 独立行政法人国立文化財機構九州国立博物館, 学芸部文化財課, 係員 (40772786)
竹内 俊貴 独立行政法人国立文化財機構九州国立博物館, 学芸部文化財課, 専門職 (70750149)
|
|---|
| 研究期間 (年度) |
2022-06-30 – 2025-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
6,240千円 (直接経費: 4,800千円、間接経費: 1,440千円)
2024年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
2023年度: 2,210千円 (直接経費: 1,700千円、間接経費: 510千円)
2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
|
|---|
| キーワード | 無相関ストレッチ（DStretch） / 機械学習 / CycleGANs / ColBase / 色空間（カラープロファイル） / 紺紙金字経 / データ駆動型研究 / 人文情報学 / 文化財画像資料 / 無相関ストレッチ / CycleGAN |
|---|
| 研究開始時の研究の概要 |
日本のミュージアムは、美術・歴史・科学等の分野における豊かな調査研究の成果や固有の研究資源を保有している。しかし、人文情報学を基軸とした社会変革を推進しつつある欧米の動向と比較すると、ミュージアムにおける情報学の分野のデータサイエンスの手法を取り入れたデータ駆動型の研究は圧倒的に少ない。そこで本研究では、文化財画像資料をデジタル文化資源という視野から捉え、ミュージアムの知の資産を学際的な協同によって共創することを目指す。
|
| 研究実績の概要 |
本研究の目的は、統計的画像処理技術の一種である無相関ストレッチ（DStretch）と教師無しの機械学習の一つであるCycleGANsの技術を応用し、作品に負荷をかけることなく褪色した文化財画像から制作当初に近いものを作出する技術を開発することである。この技術は、もともとは露天の岩刻画や壁画など著しく褪色した不動産文化財を鮮明化するために考案されたものだが、世界的にみても博物館収蔵品への適用事例はほとんど無かった。その理由は、描かれた図文や文字などを鮮明化するために、色空間（カラープロファイル）を著しく強調するアルゴリズムがプログラムの中に組み込まれ、色変換の必要の無い部分も変換されるため、作品本来の鑑賞を著しく阻害する結果を招くからであった。
今年度の課題は、機械学習を援用し強調変換した色空間をオリジナルの色空間へと、モチーフの形状を変えることなく逆変換させる技術的方法の開発に設定した。褪色した文化財の制作当初の色空間は不明である。そこで、褪色前の類似した文化財の画像データを機械学習によって多数学習させ、確からしいオリジナル画像での色空間を再構築する。そこに、無相関ストレッチで強調変換した文化財画像と仮想的なオリジナルの色空間との間で、教師無し学習の一種であるCycleGANs解析を実施することで制作当初に限りなく近い文化財画像が作出できる。むろん、これは真の画像ではなくCycleGANsの原理に基づいて作出した偽の画像であるが、作品の鑑賞性はDStretchだけの場合と比べて大きく向上するはずである。以上の理論を検証するために、今年度は「紺紙金字経」を題材にした技術開発に着手し、良好な成果が得られた。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本研究を進めるにあたり、最初の大きな課題は、機械学習にかけるための素材となる、無相関ストレッチを実施した文化財画像、および褪色前の類似した文化財画像をいかに効率的に収集するかにまず直面した。インターネット上には文化財画像は多くあるが、研究目的で制約なく利用できる画像データを大量に収集しなければならない。
その克服のために、①収録データの真正性が担保され制約なく利用できる画像データベースの存在、②このデータベースから機械学習のための多量のデータを取得する方法の構築を急ぐ必要があった。そこで、14万件の文化財情報と9万枚の画像を登録するColBase（国立文化財機構所蔵品統合検索システム）に注目し、実際に九州国立博物館でデータ登録に携わっている分担者の竹内・落合から助言を受けつつ、今年度の対象作品を「紺紙金字経」に絞った。
つぎに、ColBaseに収録された画像データの中から、任意のキーワードで特定される文化財画像を自動収集するプログラムを開発した。そこで「紺紙金字経」でヒットした膨大な画像データの中から褪色が進行した文化財画像を選択した。さらに、DStretchで特定色を強調する色空間設定に対応して、画像解析を自動化するプログラムを開発した。
これらを受けて、藤田を中心として機械学習の研究会を組織し、研究目的に合致したCycleGANs解析のアルゴリズムを検討した。いきなりプログラムを組むことはせず、アルゴリズムについての試行錯誤を重ね、条件の最適化について模索した。「紺紙金字経」に特化したプログラムを開発・導入した後には、損失関数にある学習時のハイパーパラメータλを適宜変えながら、仮想的な褪色前の文化財画像が問題なく作出できているかの検証を行った。
|
| 今後の研究の推進方策 |
今年度、研究を進めた中で見えてきた課題は次のとおりである。まず、DStretchで解析すると、褪色した描線を鮮明化するために、不均一な光の色ムラを平滑化（flatten）したり照度調整（Adj Lumina）を加えて色空間を変換することに起因し、いずれも著しいブロックタイリングが発生した。これはDStretchの色空間の変換と対象画像との間の相性の問題と考えられ、ColBaseに登録された画像の解像度が低いか、あるいは強くjpg圧縮がかかったものについては、DStretchを加えることで劣化が一層促進した可能性が考えられる。
次に、機械学習（CycleGANs）を行った場合に、①雲状に背景が白くなる、②上下に入力にはない余白が現れる、③入力にはない格子状の規則的な模様が現れるという問題が発生した。損失関数を分析すると生成した画像が白に近いほど損失が低下する現象が生じた。これが原因で学習が進むと、①が発生すると想定され、損失関数にある学習時のハイパーパラメータλを10から100に徐々に変化させて損失関数の低下を検証した。その結果、10よりも100に近い方が背景の白化現象が逓減する予測通りの結果が得られた。②・③については褪色前画像の余白や文字・図文の大きさに引きずられた結果の可能性があり、褪色前と褪色後とが類似しない場合は注意が必要であることが分かった。一般に機械学習モデルでは、学習後のモデルを新しいデータに適用し期待した出力を得るが、褪色前と褪色後とが類似しない場合には毎回、DStretchとCycleGANsの学習を行わなければならず、この問題克服を次の課題として設定した。
本研究は初年度にしては大きな成果を上げることができたが、進める上での課題も見えてきた。今年度の実践から派生した課題と原因とをふまえ、より最適化した画像復元に向けての技術改良を推進していきたい。
|
