• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

型式学とAIを融合したデータ駆動型研究基盤への挑戦

研究課題

研究課題/領域番号 23K17520
研究種目

挑戦的研究(萌芽)

配分区分基金
審査区分 中区分3:歴史学、考古学、博物館学およびその関連分野
研究機関新潟国際情報大学

研究代表者

藤田 晴啓  新潟国際情報大学, 経営情報学部, 教授 (40366513)

研究分担者 河野 一隆  独立行政法人国立文化財機構東京国立博物館, 学芸研究部, 部長 (10416555)
河原 和好  新潟国際情報大学, 経営情報学部, 准教授 (20319023)
山本 亮  独立行政法人国立文化財機構東京国立博物館, 学芸研究部, 研究員 (30770193)
宮尾 亨  新潟県立歴史博物館, その他部局等, 研究員 (90245655)
近山 英輔  新潟国際情報大学, 経営情報学部, 教授 (00525602)
研究期間 (年度) 2023-06-30 – 2026-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
6,240千円 (直接経費: 4,800千円、間接経費: 1,440千円)
2025年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
2024年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
2023年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
キーワード縄文中期土器 / 六反田南遺跡 / 発掘調査報告書 / 土器説明文 / 点群データ入力 / 説明文出力モデル / マルチモーダルAI / 型式学 / 自然言語処理 / 3D-RGBA物体認識 / 土器
研究開始時の研究の概要

須恵器および縄文土器を光学スキャナーで計測し, 3D点群データ, 3D-RGBAボクセルデータを作成, 日本語対応の事前学習済大規模言語モデル, 型式分類に関わるテキストデータを3Dデータから生成する3D dense captioning(3Dデータに対し複数物体検出を行いそれぞれについてキャプション生成する)タスクを結合して, 3D物体認識モデルおよび土器型式言語モデルが融合した新たなマルチモーダル型式分類AIを開発する.このAI評価モデルが既往の限られた3D計測情報, および土器分類に関わる報告書の書誌情報を学習し, 膨大な分類未知の土器3D計測情報に対し自動で新たな型式分類と報告を行う.

研究実績の概要

新潟県糸魚川市六反田南遺跡から出土した41縄文土器(24深鉢, 14鉢, 2台つき鉢, 1浅鉢)の3Dデータからそれぞれ1024の点群データを作成した。発掘調査報告書からそれぞれの土器の形状の特徴として平均105文字の説明文を抽出し、41個体の説明文全体から合計194トークン(自然言語処理上の意味をもつ単語等の単位)が作成された。2023年度は点群を入力すると説明文を出力するモデルを作成した。
土器1個分の1024点からなる点群はPointNet部で1個の埋込ベクトルに変換され、それは軽量型にカスタム化したTransformerデコーダの全結合層に連結されて入力される。Transformerデコーダはコンテキスト長6の入力トークン列(6トークン)に対し1個の次のトークンの確率を出力する。訓練時は確率と正解トークン間のロスが最小化される。推論時は確率でサンプリングされた1トークンが繰り返し入力に結合され、文末トークンがサンプリングされたとき繰り返しを終了する。PointNetは7個の全結合層-バッチ正規化層-ReLU活性化層ブロックを持ち、5と6の間にglobal max pool層を持つ。Transformerデコーダ部は入力の1-hotベクトル列をQKV自己アテンションで埋込ベクトル列に変換してPointNet部からの埋込ベクトルと連結して1トークンを推論する全結合層に入力する。
深鉢1個体の点群を入力した結果、適切なトークン数で文末になる説明文を得た。3回の推論結果では概ね自然な説明文を出力し、深鉢形クラス分類にも正解していた。鉢型の点群を入力し、クラス分類の誤認識率が高い結果となった。浅鉢型は3Dデータが1個しかなく、テストデータは90度回転したものとした。推論を3回行った結果、1個は完全に同一のトークン列で、他の2個は文法的に自然で意味が同じ1トークンのみが追加された。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

2023年度は使用できるデータ数に制限があるため、まず形状(3D点群)データからそれぞれの土器の個体を発掘調査報告書で記載されている説明文の出力および器種(深鉢、鉢、台つき鉢、浅鉢等の分類)が推論できるか、モデルを作成して出力可能なことを確認した。
2023年度作成モデルはプロトタイプであるため研究の不十分な点がある。まず明らかに学習データの数が少なく、特に浅鉢と台付鉢は訓練データが1個しかなく浅鉢に関してはテストデータすらない状況であった。本来このようなデータをAIモデル開発に含めるべきではないことが明らかであるため、今後土器計測データを拡充することが求められる。次にエポック数とデータ拡張について述べる。今回の3D点群ではランダムな3次元回転による動的データ拡張を使用した(テストのときも使用)。従って1エポックだけではある1個の土器について1配置を学習するだけになり、例えば回転角2分単位の場合剛体回転対称性を網羅するには27000配置が必要になる。今回の結果である100000エポックでは、計算上は1土器あたり4回程度しか訓練されていないことになる。この解決策としては、説明文の学習時に拡張されたデータと同じ数だけ、動的にランダム回転をさせることがある。

今後の研究の推進方策

2023年度の評価として、今回使用したTransformerデコーダ部はGPTモデルのそれと比較すると極めて単純な構造を持ち、パラメーター数も約80万であるにも関わらず、自然な文章を生成することがわかった。これは学習するコーパスが限定された領域内の説明文であること、および語彙数が少ないことによるものと考えられる。また3D dense captioningのvote2cap-detrでもミニTransformerデコーダは採用されており、我々のTransformerデコーダのような軽量アーキテクチャは、ドメイン特化型の言語系マルチモーダルAIに有用であると考えられる。
2023年度は点群データ入力・説明文出力モデル開発と同時に、長岡市科学博物館所蔵の816点の縄文中期土器のスキャナーによるデジタル化を終了した。現在型式、系統、年代、形状の特色等の書誌情報を整備中である。これらの書誌データ作成が完了するとひとつの大きな縄文中期土器データセットとして、3D点群データを入力して、型式、系統、年代等の分類および説明文の出力が可能となるモデル開発が可能となる。さらに2024年度は新潟県埋蔵文化財センター収蔵の六反田南遺跡出土、縄文中期土器800個体程度のスキャナーによるデジタル化および書誌データの整理を計画している。本研究最終年度となる2025年度は十日町市博物館所蔵の縄文中期土器のデジタル化を計画しており、訓練・テストデータの大幅な拡充が期待できる。

報告書

(1件)
  • 2023 実施状況報告書
  • 研究成果

    (12件)

すべて 2025 2024 2023 その他

すべて 雑誌論文 (4件) (うち国際共著 2件、 査読あり 4件) 学会発表 (3件) 備考 (5件)

  • [雑誌論文] 縄文土器3D 深層学習クラスタ解析の展望 ―部位分割Voxel 解析の試行―2025

    • 著者名/発表者名
      宮尾亨, 南雲彩花, 藤田晴啓, 板垣正敏, 市川健太, 河野一隆
    • 雑誌名

      日本情報考古学会講演論文集

      巻: 28

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] Prototype of Point cloud-Captioning Model for Jomon Pottery2024

    • 著者名/発表者名
      Chikayama Eisuke, Nakada Toyohisa, Miyao Toru, Fujita Haruhiro
    • 雑誌名

      Proceedings of International Conference on Smart City, ESTCON 2024

      巻: in printing

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] Analyses of sensory impression factor structures of Jomon Kaen potteries by a Semantic Diff erential method experiment of viewing 3D models by Microsoft HoloLens2024

    • 著者名/発表者名
      Fujita Haruhiro, Miyao Toru, Simon Kaner, Sasaki Hiroyuki
    • 雑誌名

      Proceedings of International Conference on Computer Applications & Quantitative Methods in Archaeology

      巻: in printing

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] 縄文土器3D-RGBデータの深層学習クラスター解析に向けたVoxel化および解像度の評価2023

    • 著者名/発表者名
      宮尾亨,藤田晴啓,板垣正敏,市川健太,南雲彩花,河野一隆
    • 雑誌名

      日本情報考古学会講演論文集

      巻: 26 ページ: 66-71

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [学会発表] 縄文土器デジタルアーカイブ国際研究ネットワークの構築2024

    • 著者名/発表者名
      藤田晴啓, 宮尾亨, 近山英輔
    • 学会等名
      第5回考古文化財ディープラーニング研究会発表概要集
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 縄文土器点群-キャプション生成モデルの試作2024

    • 著者名/発表者名
      近山英輔, 中田豊久, 宮尾亨, 藤田晴啓
    • 学会等名
      第5回考古文化財ディープラーニング研究会発表概要集
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 縄文土器の説明文生成AIの評価データ作成システム2024

    • 著者名/発表者名
      中田豊久, 近山英輔, 宮尾亨, 藤田晴啓
    • 学会等名
      第5回考古文化財ディープラーニング研究会発表概要集
    • 関連する報告書
      2023 実施状況報告書
  • [備考] 土器表面解析および3Dモデル表示手法

    • URL

      https://nuis.repo.nii.ac.jp/records/2000036

    • 関連する報告書
      2023 実施状況報告書
  • [備考] マルチモーダルな言語生成AIの開発

    • URL

      https://nuis.repo.nii.ac.jp/records/2000038

    • 関連する報告書
      2023 実施状況報告書
  • [備考] 中期縄文土器の造形芸術作品としての感覚印象因子構造に関する分析

    • URL

      https://nuis.repo.nii.ac.jp/records/200004

    • 関連する報告書
      2023 実施状況報告書
  • [備考] 縄文土器点群-キャプション生成モデルの試作

    • URL

      https://nuis.repo.nii.ac.jp/records/2000211

    • 関連する報告書
      2023 実施状況報告書
  • [備考] 縄文土器デジタルアーカイブ国際研究ネットワークの構築

    • URL

      https://nuis.repo.nii.ac.jp/records/2000215

    • 関連する報告書
      2023 実施状況報告書

URL: 

公開日: 2023-07-04   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi