| Project/Area Number |
23K22016
|
|---|
| Project/Area Number (Other) |
22H00744 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 03060:Cultural assets study-related
|
|---|
| Research Institution | Niigata University of International and Information Studies |
|---|
Principal Investigator |
藤田 晴啓 新潟国際情報大学, 経営情報学部, 教授 (40366513)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河原 和好 新潟国際情報大学, 経営情報学部, 准教授 (20319023)
山本 亮 独立行政法人国立文化財機構東京国立博物館, 学芸研究部, 研究員 (30770193)
宮尾 亨 新潟県立歴史博物館, その他部局等, 研究員 (90245655)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,810,000 (Direct Cost: ¥13,700,000、Indirect Cost: ¥4,110,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
Fiscal Year 2022: ¥11,700,000 (Direct Cost: ¥9,000,000、Indirect Cost: ¥2,700,000)
|
|---|
| Keywords | QV変分オートエンコーダ / ヒトの判断基準の検証 / 深層学習クラスター解析 / 変分オートエンコーダ / 須恵器 / クラスター解析 / ベクトル量子化変分オートエンコーダ / 正規分布に従う潜在変数 / 離散的な潜在変数 / 再構築の差 / 数理考古学 / 型式・年代の分類 / 深層クラスター解析 / 型式・年代分類 / ヒト判断根拠の検証 / ボクセルデータ / 3D-RGBAデータ / 光学スキャナー / 未知のクラスターを検知 |
|---|
| Outline of Research at the Start |
専門家が判断した須恵器の型式を深層クラスター解析にて導出されたクラスターとの比較を行い、ヒトの判断と深層クラスター解析との乖離に関する考察を行う。須恵器の光学スキャナー計測データから3D-RGBAのボクセルデータに変換し、データ拡張を行なってクラスター解析を実施する。解析手法は畳込みラベルを擬似ラベルとするk平均法によるクラスター解析、変分オートエンコーダ(VAE)の潜在空間特徴量による次元圧縮クラスター解析、さらには量子ベクトル変分オートエンコーダ(VQ-VAE)の潜在空間特徴量による次元圧縮クラスター解析を実施し、クラスター形成の状況を観察し、ヒトの型式と比較する。
|
| Outline of Annual Research Achievements |
2023年度の研究では変分オートエンコーダ（深層生成モデル）における潜在空間から得られる特徴量表現を用いたクラスタリング手法の有効性を検討した。本手法は，潜在空間から須恵器の3次元データを再構成することで，大域的な情報の妥当性を評価することが可能であると考えられる。2023年度は深層生成モデルVAE（オートエンコーダ）およびVQ-VAE（ベクトル量子化変分オートエンコーダ）の潜在空間を使った須恵器のクラスタリングを試みた。
VAEにて入力した3D形状を再構成の途中で取得される潜在変数を使ったクラスタリング手法を試みた。入力データは128x128x128ボクセルで1000Epochでは須恵器形状をかなりの精度で再構成できた。潜在変数1024次元にてクラスタリングを試みたが明瞭にまとまったクラスターはみられなかった。
VAEは潜在変数を正規分布にしたがう連続的な変数としているのに対し、VQ-VAEの潜在変数は離散的なベクトルになる。自然界の事象は離散的なものが多く、VQ-VAEを使い二つのモデルを開発した。
併せて教師付き分類も行った。 当初試料として供したのは東京国立博物館所蔵資料のうち須恵器蓋杯106点で、これを型式5段階、年代3段階のそれぞれについて学習を行った。用いた資料はそれぞれ座標が与えられているが回転体のため、角度を変えて回転させることで異なる資料として学習させることが可能である。今回は30度ずつ12倍に拡張する。また資料の特徴をより明瞭とするため、学習には３Dデータのほかそこから生成した正射投影画像を用いることとし、これらを併せて学習できるモデルを用いることとした（マルチヘッド・マルチタスクモデル）。また資料数が少ない正解については損失関数への重みづけを行うことによって、５％程度の正解率の向上が可能である。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
考古資料を深層学習により分類・分析し、適切な位置づけを行えるようにすることは、現在数多くの緊急的な発掘調査が行われ日々膨大な考古資料が出現している今日にあって、各自治体や博物館資料館など、多くの方面で期待されている技術である。しかし、深層学習では通常、試料は数千の数が必要となる。しかし、通常考古資料では解析に適当な相当数の資料を用意することは難しい。その多くが破損し、欠損部分も著しい状態のものがほとんどだからである。
２０２３年度に新たに開発したVQ-VAEによる二つのモデルによる解析結果は以下のとおりである。
モデル1は学習率 0.001、Epoch 300。モデル2（20240304スライド）は学習率 0.0002、Epoch 1000とした。ふたつのモデルは16384次元の潜在変数をともに使用し比較を行なった。結果はモデル1はクラスターのまとまりがよい結果となった。須恵器の型式を連続的なものではなく、離散的なものと考えれば、潜在変数を16384にした場合では明らかに３集団に分かれている。Ⅱ-5だけのクラスター、Ⅱ-3,4,5が混在したクラスター、Ⅱ-1および２が中心となるが、端の方にⅡ-3や４が混在するクラスターで形成された。モデル２はクラスターがまとまらず連続したかたちとなった。一方モデル2の方が再構成の精度が安定している。
|
| Strategy for Future Research Activity |
現状では欠損、補修部分を避けて深層解析を行うことはできないため、学習にあたってこうした部分がノイズとなる懸念がある。そのため、こうした部分を避け、完形品もしくは欠損・補修を含まない部分のみで解析を行うことを志向している。しかし、完形品ということであれば多いものでも数百点のデータに留まり、多くの所蔵機関に分散した資料のデータを集めるためには膨大な労力を要する。将来的には、欠損・補修部分を画像処理によりマスキングし学習に供されないようにする技術や特定部位にのみフォーカスして解析を行う技術の確立を目指している。
現在、最も懸案としていた古相段階の資料50点弱の計測を行っている。それでもなお資料数としては150点余りに過ぎない。完形品に頼るままでは、増えても数百点程度の資料数に収まるに過ぎないであろう。これは考古資料の限界であるが、翻ってデータ数が少ないなかにあって、資料の特性に合わせたデータの拡張や、資料数の偏りを解決するための少数データの損失関数への重みづけを行うことは有効な解決策であることが示される。
最終年度となる2024年度はこれまで種々のモデルにて形成されたクラスターと専門家が分類した型式の乖離（マッチング）を精査し、ヒトの分類の検証を実施する。
VQ-VAEは引き続き学習率およびEpochがクラスターのまとまりを変動させる原因の究明とVQ-VAE2等の他のモデルによる解析を検討する。
|
