• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実施状況報告書

ノイズロバストな透視可視化に基づく,大規模文化遺跡の3次元計測ビッグデータ活用

研究課題

研究課題/領域番号 19KK0256
研究機関立命館大学

研究代表者

田中 覚  立命館大学, 情報理工学部, 教授 (60251980)

研究分担者 長谷川 恭子  立命館大学, 情報理工学部, 講師 (00388109)
李 亮  立命館大学, 情報理工学部, 准教授 (00609836)
SONG Yuting  立命館大学, 総合科学技術研究機構, 研究員 (50849388)
研究期間 (年度) 2019-10-07 – 2023-03-31
キーワード3次元計測ビッグデータ / デジタルアーカイブ / 可視化 / インドネシア / 有形文化財 / ボロブドゥール寺院
研究実績の概要

1. 点群アップサンプリング技術の開発:3次元計測の生データを入力として、その点数を増やすこと(アップサンプリング)ができる深層学習ネットワークを開発した。これを大小様々な規模の3次元計測点群に適用し、優れたアップサンプリング効果を確認した。この深層学習ネットワークは、点分布が不均一なデータに対しても有効であり、点数の増加だけでなく、点密度の一様化や、不連続な3次元エッジの連続化にも用いることができる。
2. レリーフ3次元復元技術の進捗:インドネシアのユネスコ世界文化遺産「ボロブドゥール寺院遺跡」における、石垣内に埋められて現在は見えない壁面レリーフを、残された古写真から深層学習によって高精細3次元復元する技術を改良した。復元の精度は95%であり、さらに改善の余地がある。この成果に関して、3次元計測分野のトップカンファレンスであるISPRS Congress 2020においてフルペーパーが採択された。
3. 3次元計測点群をそのまま用いて計測対象の角(かど)や縁(ふち)を強調可視化できる opacity-based edge highlighting の手法を確立させた。この手法は、建築遺跡の可視化の視認性を向上させるのに有効である。この成果に関して、3次元計測分野のトップカンファレンスであるISPRS Congress 2020においてフルペーパーが採択された。
4. ボロブドゥール寺院遺跡の地下の盛土部分の3次元モデル構築:ユネスコによるボーリング調査の資料に基づき、ボロブドゥール寺院遺跡の地下の基礎工事部分(盛土部分)の階層構造を再現する3次元モデルを構築した。
5. ボロブドゥール寺院の第1階層の過半に関して、ボロブドゥール遺跡保存局のスタッフに業務委託して、3次元計測を行うことができた。既にインターネット経由でデータを受領し、現在はその整理を行っている段階である。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

1. 技術開発に関しては、極めて順調に進展している。3次元計測のトップカンファレンスISPRS Congress 2020でも、複数のフルペーパーが採択される実績を積むことができた。また、国内の研究会における研究発表のうち、本研究に関連する2件が受賞した。
2. ボロブドゥール寺院遺跡に関して、寺院建物全体をUAV(ドローン)計測で記録した、やや粗い3次元計測のデータを、ボロブドゥール遺跡保存局から入手している。これに加えて、ユネスコのボーリング調査に基づいて我々が作成した地下構造の3次元モデル、そして、我々が深層学習で古写真から復元した石垣に埋められて見えないレリーフの3次元モデルが準備できた。これで、寺院全体の3次元構造を可視化するためのデータセット群が、一通り揃ったことになる。
3. ボロブドゥール寺院遺跡の寺院建物の高精細3次元計測に関しては、やや遅れている。これは、新型コロナウィルスの影響のためである。日本メンバーのインドネシア出張ができなくなり、加えて、インドネシアの研究協力者の国内移動も大きく制限されている。このため、3次元計測の作業が著しく制限されている。しかしながら、ボロブドゥール遺跡保存局のスタッフに3次元計測を業務依託することにより、寺院の第1階層の過半に関して、3次元計測を行うことができた。
4. 2000年代に発見された都市遺跡であるLiyangan遺跡の3次元計測に関しては、インドネシア特有の事務手続きの複雑さのため、まだ実施できていない。しかし、2019年度に成された計測実施の合意は維持されている。
5. 本研究のこれまでの成果はインドネシアでも認知され、インドネシアの多数のネットニュースでも取り上げられている。また、インドネシアの文化庁長官からも、今後も我々の研究を支援したいというコメントをいただいている。

今後の研究の推進方策

技術開発に関しては、以下を行なう:(1) 透視可視化で実現している3次元計測点群の高精細可視化の手法を、計測対象物表面の写実的可視化にも使えるように拡張する。(2) レリーフを古写真から3次元復元する手法に関しては、古写真を画像処理して得たエッジ画像を利用して、さらに復元精度を向上させる。(3) 3次元計測点群に対して適切にダウンサンプリング(点の間引き)を行い、バーチャルリアリティー(VR)コンテンツの構築にも適した高品質で軽い点群データを生成する技術を確立する。
可視化コンテンツの開発に関しては、ボロブドゥール寺院遺跡のVRコンテンツの構築に本格的に取りかかる。本年度までに作成・入手した、寺院建物、地下構造、見えないレリーフの3種の3次元モデルを全て点群データ化してひとつに統合し、これを入力データとして、Unity環境でVRコンテンツを作成する。VR空間内での滑らかなウォークスルーを実現するため、ウォークスルーの移動ガイドとなる簡略ポリゴンメッシュを作成し、これを透明化して点群データに融合させる。
新型コロナウィルスによる3次元計測活動の制限への対処に関しては、インドネシアの法律を遵守した上で、インドネシアの研究機関と連携し、計測の現地依託とインターネットによるデータ転送の体制を強化する。Liyangan 遺跡に関しても、同様の体制でのデータ入手を目指す。
本研究で開発した手法やソフトェアは、日本国内の有形文化財にも、もちろん、有用である。奈良の當麻寺が所有する文化財など、国宝級の有形文化財の3次元計測と可視化に関して、協力の依頼がある。これらにも積極的に対応したい。その成果は、本研究の主たる対象であるインドネシアの文化財の可視化等の研究にもフィードバックできる。

次年度使用額が生じた理由

1. 次年度使用額が生じた理由:新型コロナウィルスのため、日本メンバーのインドネシア訪問とインドネシア研究協力者の日本招聘が、両方とも全く行なえず、国外出張旅費と国外研究者の招聘旅費が執行できなかった。
2. 使用計画:次年度以降に、新型コロナウィルスの状況を見ながら、日本とインドネシアのメンバーの相互訪問を行なうことを目指す。そのための旅費を確保しておく。また、インドネシアの研究機関への3次元計測等の業務委託の体制も拡充し、そのための人件費や機材の購入費用を確保しておく。

  • 研究成果

    (20件)

すべて 2021 2020 その他

すべて 国際共同研究 (1件) 雑誌論文 (7件) (うち国際共著 2件、 査読あり 5件、 オープンアクセス 4件) 学会発表 (12件) (うち国際学会 3件、 招待講演 1件)

  • [国際共同研究] LIPI/the Borobudur Conservation Office/Yogyakarta Archaeology Office(インドネシア)

    • 国名
      インドネシア
    • 外国機関名
      LIPI/the Borobudur Conservation Office/Yogyakarta Archaeology Office
  • [雑誌論文] 3次元計測データの「見える化」のための,計測ノイズの「見えない化」2021

    • 著者名/発表者名
      田中覚
    • 雑誌名

      可視化情報学会誌

      巻: 41(160) ページ: 7-11

  • [雑誌論文] Recording, Preservation, and Exhibition of Objects and Events: An Approach to Digital Museums of Cultural Heritage2020

    • 著者名/発表者名
      Liang Li, Kyoko Hasegawa, Satoshi Tanaka
    • 雑誌名

      Journal of the Asia-Japan Research Institute of Ritsumeikan University

      巻: 2 ページ: 166-178

    • DOI

      10.34389/asiajapan.2.0_166

    • 査読あり / オープンアクセス
  • [雑誌論文] Research and Development on the Digital Museum of Asian Historical Cultural Heritage Based on Big Data Acquired by Scanning Real Objects2020

    • 著者名/発表者名
      Satoshi Tanaka
    • 雑誌名

      Journal of the Asia-Japan Research Institute of Ritsumeikan University

      巻: 2 ページ: 206-216

    • DOI

      10.34389/asiajapan.2.0_206

    • 査読あり / オープンアクセス
  • [雑誌論文] Fused 3D Transparent Visualization for Large-Scale Cultural Heritage using Deep Learning-based Monocular Reconstruction2020

    • 著者名/発表者名
      J. Pan, L. Li, H. Yamaguchi, K. Hasegawa, F.I. Thufail, Brahmantara, S. Tanaka
    • 雑誌名

      ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci.(Proc. ISPRS Congress 2020)

      巻: V-2-2020 ページ: 989-996

    • DOI

      10.5194/isprs-annals-V-2-2020-989-2020

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Opacity-based Edge Highlighting for Transparent Visualization of 3D Scanned Point Clouds2020

    • 著者名/発表者名
      K. Kawakami, K. Hasegawa, L. Li, H. Nagata, M. Adachi, H. Yamaguchi, F. I. Thufail, S. Riyanto, Brahmantara, S. Tanaka
    • 雑誌名

      ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci.(Proc. ISPRS Congress 2020)

      巻: V-2-2020 ページ: 373-380

    • DOI

      10.5194/isprs-annals-V-2-2020-373-2020

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Learning Japanese-English Bilingual Word Embeddings by Using Language Specificity2020

    • 著者名/発表者名
      Yuting Song, Biligsaikhan Batjargal, and Akira Maeda
    • 雑誌名

      International Journal of Asian Language Processing

      巻: 3 ページ: 14 pages

    • DOI

      10.1142/S2717554520500149

    • 査読あり
  • [雑誌論文] CPD講座・測量と計測技術の最前線 第6回 「3次元測定を用いた文化財のデジタル保存と可視化(2)」2020

    • 著者名/発表者名
      田中覚,長谷川恭子,李亮
    • 雑誌名

      建築士

      巻: 69(811) ページ: 36-39

  • [学会発表] Linking Ukiyo-e Records across Languages: An Application of Cross-Language Record Linkage Techniques to Digital Cultural Collections2021

    • 著者名/発表者名
      Yuting Song, Biligsaikhan Batjargal, and Akira Maeda
    • 学会等名
      The 5th Anniversary International Symposium of Asia-Japan Research at Ritsumeikan University
    • 国際学会
  • [学会発表] ノイズ透明化による3次元計測点群データ高品質可視化2021

    • 著者名/発表者名
      田中覚,内田知将,長谷川恭子,李亮
    • 学会等名
      日本シミュレーション学会・2021年非線形問題の解法と可視化に関する研究会
  • [学会発表] 深層学習を用いたアップサンプリングに基づく3次元計測データのエッジ強調可視化2021

    • 著者名/発表者名
      LI Weite,長谷川恭子,李亮,田中覚
    • 学会等名
      日本シミュレーション学会・2021年非線形問題の解法と可視化に関する研究会
  • [学会発表] A Preliminary Attempt to Evaluate Machine Translations of Ukiyo-e Metadata Records2020

    • 著者名/発表者名
      Yuting Song, Biligsaikhan Batjargal, and Akira Maeda
    • 学会等名
      The 22nd International Conference on Asia-Pacific Digital Libraries
    • 国際学会
  • [学会発表] Finding Identical Ukiyo-e Prints across Databases in Japanese, English and Dutch2020

    • 著者名/発表者名
      Yuting Song, Biligsaikhan Batjargal, and Akira Maeda
    • 学会等名
      Digital Humanities 2020
    • 国際学会
  • [学会発表] AI と文化財の可視化2020

    • 著者名/発表者名
      李 亮
    • 学会等名
      日本学術会議公開シンポジウム「科学的知見の創出に資する可視化 (5):ICT /ビッグデータ時代の文理融合研究を支援する可視化」
    • 招待講演
  • [学会発表] マルチデータソースを統合したポイントレンダリングに基づく大規模文化遺跡の可視化2020

    • 著者名/発表者名
      Pan JIAO, 李亮, 長谷川恭子, 田中覚
    • 学会等名
      先進的描画技術を用いた可視化情報の研究会(VR2020)
  • [学会発表] 3D Reconstruction and Visualization of Borobudur Temple2020

    • 著者名/発表者名
      Liang Li,
    • 学会等名
      インドネシア研究懇話会(KAPAL)第2回研究大会
  • [学会発表] アンビエントオクルージョンを用いた半透明立体視の奥行き認知改善2020

    • 著者名/発表者名
      片岡孝太,坂野雄一,坂本尚久,藤田泰之,長谷川恭子,李亮,田中覚
    • 学会等名
      可視化情報学会・第48回可視化情報シンポジウム
  • [学会発表] ノイズを含む3次元計測点群の特徴強調可視化におけるノイズ透明化2020

    • 著者名/発表者名
      片平瑞基,長谷川恭子,李亮,田中覚
    • 学会等名
      可視化情報学会・第48回可視化情報シンポジウム
  • [学会発表] 大規模計測点群データ可視化のための超2次曲面を用いた適応的点密度制御---舞鶴の赤レンガ倉庫への適応---2020

    • 著者名/発表者名
      岸本将弥,安達基朗,長谷川恭子,李亮,田中覚
    • 学会等名
      可視化情報学会・第48回可視化情報シンポジウム
  • [学会発表] 箱庭療法支援のための3次元計測点群を用いたVRシステムの作成2020

    • 著者名/発表者名
      河戸優典,岡本紗耶加,伊藤大貴,加藤千恵子,青木 滉一郎,安達基朗,田中覚,長谷川恭子,李亮
    • 学会等名
      可視化情報学会・第48回可視化情報シンポジウム

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi