| Project/Area Number |
23K17520
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 3:History, archaeology, museology, and related fields
|
|---|
| Research Institution | Niigata University of International and Information Studies |
|---|
Principal Investigator |
藤田 晴啓 新潟国際情報大学, 経営情報学部, 教授 (40366513)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河野 一隆 独立行政法人国立文化財機構東京国立博物館, 学芸研究部, 部長 (10416555)
河原 和好 新潟国際情報大学, 経営情報学部, 准教授 (20319023)
山本 亮 独立行政法人国立文化財機構東京国立博物館, 学芸研究部, 研究員 (30770193)
宮尾 亨 新潟県立歴史博物館, その他部局等, 研究員 (90245655)
近山 英輔 新潟国際情報大学, 経営情報学部, 教授 (00525602)
中田 豊久 新潟国際情報大学, 経営情報学部, 准教授 (70507508)
|
|---|
| Project Period (FY) |
2023-06-30 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2025: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2024: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2023: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | AI・深層学習 / 自己教師あり学習 / 縄文土器 / キャプションモデル / 点群データ / 縄文中期土器 / 六反田南遺跡 / 発掘調査報告書 / 土器説明文 / 点群データ入力 / 説明文出力モデル / マルチモーダルAI / 型式学 / 自然言語処理 / 3D-RGBA物体認識 / 土器 |
|---|
| Outline of Research at the Start |
須恵器および縄文土器を光学スキャナーで計測し, 3D点群データ, 3D-RGBAボクセルデータを作成, 日本語対応の事前学習済大規模言語モデル, 型式分類に関わるテキストデータを3Dデータから生成する3D dense captioning（3Dデータに対し複数物体検出を行いそれぞれについてキャプション生成する）タスクを結合して, 3D物体認識モデルおよび土器型式言語モデルが融合した新たなマルチモーダル型式分類AIを開発する．このAI評価モデルが既往の限られた3D計測情報, および土器分類に関わる報告書の書誌情報を学習し, 膨大な分類未知の土器3D計測情報に対し自動で新たな型式分類と報告を行う.
|
| Outline of Annual Research Achievements |
物的証拠に基づいて過去の文化・社会を推察する考古学では、発掘調査出土遺物の観察と計測、その記録が研究の基盤となる。3Dスキャン技術とAIの発展により、出土遺物をデジタルデータとして保存した後にAI分析を行うことが可能になった。3D計測データとして空間内の点の集合である点群がある。当該科研チームでは出土遺物のうち縄文土器点群データを入力として対応するキャプションを日本語生成モデルで出力するマルチモーダルAIモデルの開発を目指している。試作段階では、解像度0.5 mmでスキャンした新潟県六反田南遺跡出土縄文土器41個体を粗く1024点に点群化してキャプション（発掘調査報告書記載の縄文土器の説明文テキスト）を割り当てた学習用データセットを作成し、AIモデルのPythonコードを開発して精度と損失を評価した。その結果、土器点群データからある程度の精度でキャプション生成する試作モデルを開発することができた。しかし粗い点群では紋様を表現できなかった。そこで、これまでに研究例がない1土器131072点の高解像度モデルのAI分析手法開発へと進んだ。まず、新潟県長岡市所蔵縄文土器完形復元個体501個を点群化した入力データセットを作成した。次にSimCLR法を用いた自己教師あり学習モデルの構築を進めた。一般にAIモデルは有用な出力という利点と計算途中の内訳が人間に理解できないという研究利用には不向きな欠点を併せ持つ。本研究では隠されたAI内部に複数の損失関数を与えて人間理解を高める手法と中間層出力を入力点群に紐づける3次元可視化手法を試みた。今年度は長岡市教育委員会所蔵縄文土器（草創期、早期、前期、中期、後期、晩期）15点、長岡市教育委員会所蔵 土偶等土製品（中期、後期）249点、さらに新潟県埋蔵文化財センター縄文土器（中期）474点の3DRGBスキャンを完了した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
3D計測データ形式の1つとして3D空間内の点の集合である点群がある。例えば縄文土器などの遺物を点群で表示すれば、目視で形状や模様などの幾何学的情報を保持していることは容易に認識できる。また点群は単純なデータ形式であるため、計算機で効率的に処理できる利点がある。ディープラーニング手法の進展により、自然言語処理を始めとする多様なAIタスクが高性能化しており、さらに画像と言語など、別領域のデータを同時にAIとして扱うマルチモーダル化も進んでいる。本研究では土器3D点群から説明文（キャプション）を出力するマルチモーダルモデルの開発を進めているが、今回1個体につき131072点より成る土器点群詳細データをモデルの訓練に用いることを検討した。
131072点では、土器表面紋様が読み取れる詳細レベルを持っている。この研究で目指す土器キャプションモデルでは、この土器表面模様を認識できるものを目指している。今回は点群を処理する部分にのみに注目し、自己教師あり学習（Self-Supervised Learning、SSL）の手法を用いてプレテキストタスクを訓練するアーキテクチャを検討した。土器点群はまず、PointNet++ネットワーク部により、256個の特徴ベクトルに変換される。そのうちの1個は1トークンであると考え、256トークンの入力系列であるとみなすことで、Vision transformerネットワーク部に入力し、さらに最初の入力データをデータ拡張してSSLを可能にするDINO、SimCLR、BYOLを全体のフレームワークとして用いる設計を考案した。
|
| Strategy for Future Research Activity |
PointNet++層、Transformer層、全結合層より成るAIモデルと訓練用Pythonコード、および隠れ情報を土器3D入力データに紐づけて可視化する推論用Pythonコードを開発したので、今後はAI分析結果の隠された内訳を遺物入力データに紐づけて文章作成する。この手法は考古学的考察に関連して重要になるものと期待でき、実装やデータの学習について今後進める予定である。
|
