• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

ノイズロバストな透視可視化に基づく,大規模文化遺跡の3次元計測ビッグデータ活用

Research Project

Project/Area Number 19KK0256
Research Category

Fund for the Promotion of Joint International Research (Fostering Joint International Research (B))

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 60:Information science, computer engineering, and related fields
Research InstitutionRitsumeikan University

Principal Investigator

田中 覚  立命館大学, 情報理工学部, 教授 (60251980)

Co-Investigator(Kenkyū-buntansha) 長谷川 恭子  立命館大学, 情報理工学部, 講師 (00388109)
李 亮  立命館大学, 情報理工学部, 准教授 (00609836)
SONG Yuting  立命館大学, 総合科学技術研究機構, 研究員 (50849388)
Project Period (FY) 2019-10-07 – 2023-03-31
Project Status Granted (Fiscal Year 2020)
Budget Amount *help
¥16,770,000 (Direct Cost: ¥12,900,000、Indirect Cost: ¥3,870,000)
Fiscal Year 2022: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2021: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2020: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2019: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Keywords3次元計測ビッグデータ / デジタルアーカイブ / 可視化 / インドネシア / 有形文化財 / ボロブドゥール寺院 / 3次元計測 / 計測ノイズ / バーチャルリアリティー
Outline of Research at the Start

本研究では,大規模有形文化財の3次元計測ポイントクラウドを対象とし,野外の建造物等の文化遺跡に関して,計測ノイズに影響されにくい高精細・高視認性な可視化を実現する.計測ノイズとしては,熱帯の強い太陽光の下での,森林の木の葉などによる光の散乱の影響で生ずるノイズを,主に扱う.実証実験には,インドネシアのユネスコ世界文化遺産「ボロブドゥール寺院遺跡」及びその周辺の有形文化財群を用いる.これらを対象とし,高精細可視化,3次元構造を視認しやすくする3次元エッジハイライト,CADデータと3次元計測データの融合による超高精細複合型3次元ビジュアルモデル構築,等を行う.

Outline of Annual Research Achievements

1. 点群アップサンプリング技術の開発:3次元計測の生データを入力として、その点数を増やすこと(アップサンプリング)ができる深層学習ネットワークを開発した。これを大小様々な規模の3次元計測点群に適用し、優れたアップサンプリング効果を確認した。この深層学習ネットワークは、点分布が不均一なデータに対しても有効であり、点数の増加だけでなく、点密度の一様化や、不連続な3次元エッジの連続化にも用いることができる。
2. レリーフ3次元復元技術の進捗:インドネシアのユネスコ世界文化遺産「ボロブドゥール寺院遺跡」における、石垣内に埋められて現在は見えない壁面レリーフを、残された古写真から深層学習によって高精細3次元復元する技術を改良した。復元の精度は95%であり、さらに改善の余地がある。この成果に関して、3次元計測分野のトップカンファレンスであるISPRS Congress 2020においてフルペーパーが採択された。
3. 3次元計測点群をそのまま用いて計測対象の角(かど)や縁(ふち)を強調可視化できる opacity-based edge highlighting の手法を確立させた。この手法は、建築遺跡の可視化の視認性を向上させるのに有効である。この成果に関して、3次元計測分野のトップカンファレンスであるISPRS Congress 2020においてフルペーパーが採択された。
4. ボロブドゥール寺院遺跡の地下の盛土部分の3次元モデル構築:ユネスコによるボーリング調査の資料に基づき、ボロブドゥール寺院遺跡の地下の基礎工事部分(盛土部分)の階層構造を再現する3次元モデルを構築した。
5. ボロブドゥール寺院の第1階層の過半に関して、ボロブドゥール遺跡保存局のスタッフに業務委託して、3次元計測を行うことができた。既にインターネット経由でデータを受領し、現在はその整理を行っている段階である。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

1. 技術開発に関しては、極めて順調に進展している。3次元計測のトップカンファレンスISPRS Congress 2020でも、複数のフルペーパーが採択される実績を積むことができた。また、国内の研究会における研究発表のうち、本研究に関連する2件が受賞した。
2. ボロブドゥール寺院遺跡に関して、寺院建物全体をUAV(ドローン)計測で記録した、やや粗い3次元計測のデータを、ボロブドゥール遺跡保存局から入手している。これに加えて、ユネスコのボーリング調査に基づいて我々が作成した地下構造の3次元モデル、そして、我々が深層学習で古写真から復元した石垣に埋められて見えないレリーフの3次元モデルが準備できた。これで、寺院全体の3次元構造を可視化するためのデータセット群が、一通り揃ったことになる。
3. ボロブドゥール寺院遺跡の寺院建物の高精細3次元計測に関しては、やや遅れている。これは、新型コロナウィルスの影響のためである。日本メンバーのインドネシア出張ができなくなり、加えて、インドネシアの研究協力者の国内移動も大きく制限されている。このため、3次元計測の作業が著しく制限されている。しかしながら、ボロブドゥール遺跡保存局のスタッフに3次元計測を業務依託することにより、寺院の第1階層の過半に関して、3次元計測を行うことができた。
4. 2000年代に発見された都市遺跡であるLiyangan遺跡の3次元計測に関しては、インドネシア特有の事務手続きの複雑さのため、まだ実施できていない。しかし、2019年度に成された計測実施の合意は維持されている。
5. 本研究のこれまでの成果はインドネシアでも認知され、インドネシアの多数のネットニュースでも取り上げられている。また、インドネシアの文化庁長官からも、今後も我々の研究を支援したいというコメントをいただいている。

Strategy for Future Research Activity

技術開発に関しては、以下を行なう:(1) 透視可視化で実現している3次元計測点群の高精細可視化の手法を、計測対象物表面の写実的可視化にも使えるように拡張する。(2) レリーフを古写真から3次元復元する手法に関しては、古写真を画像処理して得たエッジ画像を利用して、さらに復元精度を向上させる。(3) 3次元計測点群に対して適切にダウンサンプリング(点の間引き)を行い、バーチャルリアリティー(VR)コンテンツの構築にも適した高品質で軽い点群データを生成する技術を確立する。
可視化コンテンツの開発に関しては、ボロブドゥール寺院遺跡のVRコンテンツの構築に本格的に取りかかる。本年度までに作成・入手した、寺院建物、地下構造、見えないレリーフの3種の3次元モデルを全て点群データ化してひとつに統合し、これを入力データとして、Unity環境でVRコンテンツを作成する。VR空間内での滑らかなウォークスルーを実現するため、ウォークスルーの移動ガイドとなる簡略ポリゴンメッシュを作成し、これを透明化して点群データに融合させる。
新型コロナウィルスによる3次元計測活動の制限への対処に関しては、インドネシアの法律を遵守した上で、インドネシアの研究機関と連携し、計測の現地依託とインターネットによるデータ転送の体制を強化する。Liyangan 遺跡に関しても、同様の体制でのデータ入手を目指す。
本研究で開発した手法やソフトェアは、日本国内の有形文化財にも、もちろん、有用である。奈良の當麻寺が所有する文化財など、国宝級の有形文化財の3次元計測と可視化に関して、協力の依頼がある。これらにも積極的に対応したい。その成果は、本研究の主たる対象であるインドネシアの文化財の可視化等の研究にもフィードバックできる。

Report

(2 results)
  • 2020 Research-status Report
  • 2019 Research-status Report

Research Products

(38 results)

All 2021 2020 2019 Other

All Int'l Joint Research (2 results) Journal Article (16 results) (of which Int'l Joint Research: 7 results,  Peer Reviewed: 14 results,  Open Access: 7 results) Presentation (20 results) (of which Int'l Joint Research: 11 results,  Invited: 2 results)

  • [Int'l Joint Research] LIPI/the Borobudur Conservation Office/Yogyakarta Archaeology Office(インドネシア)

    • Related Report
      2020 Research-status Report
  • [Int'l Joint Research] ボロブドゥール遺跡保存局/ジョグジャカルタ考古学センター/インドネシア科学院(LIPI)(インドネシア)

    • Related Report
      2019 Research-status Report
  • [Journal Article] 3次元計測データの「見える化」のための,計測ノイズの「見えない化」2021

    • Author(s)
      田中覚
    • Journal Title

      可視化情報学会誌

      Volume: 41(160) Pages: 7-11

    • NAID

      130008161611

    • Related Report
      2020 Research-status Report
  • [Journal Article] Learning Japanese-English Bilingual Word Embeddings by Using Language Specificity2021

    • Author(s)
      Yuting Song, Biligsaikhan Batjargal, and Akira Maeda
    • Journal Title

      International Journal of Asian Language Processing

      Volume: 30 Pages: 1-18

    • DOI

      10.1142/s2717554520500149

    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Recording, Preservation, and Exhibition of Objects and Events: An Approach to Digital Museums of Cultural Heritage2020

    • Author(s)
      Liang Li, Kyoko Hasegawa, Satoshi Tanaka
    • Journal Title

      AJI Journal

      Volume: 2 Issue: 0 Pages: 166-178

    • DOI

      10.34389/asiajapan.2.0_166

    • NAID

      130007935380

    • ISSN
      2435-0184, 2435-0192
    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Research and Development on the Digital Museum of Asian Historical Cultural Heritage Based on Big Data Acquired by Scanning Real Objects2020

    • Author(s)
      Satoshi Tanaka
    • Journal Title

      AJI Journal

      Volume: 2 Issue: 0 Pages: 206-216

    • DOI

      10.34389/asiajapan.2.0_206

    • NAID

      130007935392

    • ISSN
      2435-0184, 2435-0192
    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Fused 3D Transparent Visualization for Large-Scale Cultural Heritage using Deep Learning-based Monocular Reconstruction2020

    • Author(s)
      J. Pan, L. Li, H. Yamaguchi, K. Hasegawa, F.I. Thufail, Brahmantara, S. Tanaka
    • Journal Title

      ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci.(Proc. ISPRS Congress 2020)

      Volume: V-2-2020 Pages: 989-996

    • DOI

      10.5194/isprs-annals-v-2-2020-989-2020

    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Opacity-based Edge Highlighting for Transparent Visualization of 3D Scanned Point Clouds2020

    • Author(s)
      K. Kawakami, K. Hasegawa, L. Li, H. Nagata, M. Adachi, H. Yamaguchi, F. I. Thufail, S. Riyanto, Brahmantara, S. Tanaka
    • Journal Title

      ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci.(Proc. ISPRS Congress 2020)

      Volume: V-2-2020 Pages: 373-380

    • DOI

      10.5194/isprs-annals-v-2-2020-373-2020

    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] CPD講座・測量と計測技術の最前線 第6回 「3次元測定を用いた文化財のデジタル保存と可視化(2)」2020

    • Author(s)
      田中覚,長谷川恭子,李亮
    • Journal Title

      建築士

      Volume: 69(811) Pages: 36-39

    • Related Report
      2020 Research-status Report
  • [Journal Article] Noise-robust transparent visualization of large-scale point clouds acquired by laser scanning2020

    • Author(s)
      Tomomasa Uchida, Kyoko Hasegawa, Liang Li, Motoaki Adachi, Hiroshi Yamaguchi, Fadjar I. Thufail, Sugeng Riyanto, Atsushi Okamoto, Satoshi Tanaka
    • Journal Title

      ISPRS Journal of Photogrammetry and Remote Sensing

      Volume: 161 Pages: 124-134

    • DOI

      10.1016/j.isprsjprs.2020.01.004

    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Transparent Collision Visualization of Point Clouds Acquired by Laser Scanning2019

    • Author(s)
      Weite Li, Kenya Shigeta, Kyoko Hasegawa, Liang Li, Keiji Yano, Motoaki Adachi, Satoshi Tanaka
    • Journal Title

      ISPRS International Journal of Geo-Information

      Volume: 8 Pages: 1-19

    • DOI

      10.3390/ijgi8090425

    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Fused Transparent Visualization of Point Cloud Data and Background Photographic Image for Tangible Cultural Heritage Assets2019

    • Author(s)
      L. Li, K. Hasegawa, I. Nii, and S. Tanaka
    • Journal Title

      ISPRS International Journal of Geo-Information

      Volume: 8 Pages: 343-343

    • DOI

      10.3390/ijgi8080343

    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] 3D Transparent Visualization of Relief-Type Cultural Heritage Assets Based on Depth Reconstruction of Old Monocular Photos2019

    • Author(s)
      Jiao Pan, Liang Li, Hiroshi Yamaguchi, Kyoko Hasegawa, Fadjar I. Thufail, Bramantara and Satoshi Tanaka
    • Journal Title

      Springer CCIS (Proc. AsiaSim 2019)

      Volume: 1094 Pages: 187-198

    • DOI

      10.1007/978-981-15-1078-6_16

    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Effect of Multiple Iso-surfaces in Depth Perception in Transparent Stereoscopic Visualizations2019

    • Author(s)
      Daimon Aoi, Kyoko Hasegawa, Liang Li, Yuichi Sakano and Satoshi Tanaka
    • Journal Title

      Springer CCIS (Proc. AsiaSim 2019)

      Volume: 1094 Pages: 174-186

    • DOI

      10.1007/978-981-15-1078-6_15

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] Visual Guide to Improving Depth Perception in See-Through Visualization of Laser-Scanned 3D Point Clouds2019

    • Author(s)
      Kyouma Nishimura, Liang Li, Kyoko Hasegawa, Atsushi Okamoto, Yuichi Sakano and Satoshi Tanaka
    • Journal Title

      Springer CCIS (Proc. AsiaSim 2019)

      Volume: 1094 Pages: 149-160

    • DOI

      10.1007/978-981-15-1078-6_13

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] Title Matching for Finding Identical Metadata Records in Different Languages2019

    • Author(s)
      Yuting Song, Biligsaikhan Batjargal, Akira Maeda
    • Journal Title

      Springer CCIS (Proc. 13th International Conference on Metadata and Semantics Research))

      Volume: 1057 Pages: 431-437

    • DOI

      10.1007/978-3-030-36599-8

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] ジンバル制御によるLeap Motionの検出範囲の拡張と無形文化財体験システムへの応用2019

    • Author(s)
      YANG Chang,岸本征将,李亮,長谷川恭子,田中覚
    • Journal Title

      情報処理学会・じんもんこん2019論文集,情報処理学会電子図書館

      Volume: 2019 Pages: 121-126

    • NAID

      170000180911

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] インドネシア・ボロブドゥール寺院遺跡における内部建築構造の復元と透視可視化2019

    • Author(s)
      ZHAO Zihao, 李亮,長谷川恭子,田中覚,Fadjar I. Thufail
    • Journal Title

      情報処理学会・じんもんこん2019論文集,情報処理学会電子図書館

      Volume: 2019 Pages: 287-292

    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Presentation] Linking Ukiyo-e Records across Languages: An Application of Cross-Language Record Linkage Techniques to Digital Cultural Collections2021

    • Author(s)
      Yuting Song, Biligsaikhan Batjargal, and Akira Maeda
    • Organizer
      The 5th Anniversary International Symposium of Asia-Japan Research at Ritsumeikan University
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] ノイズ透明化による3次元計測点群データ高品質可視化2021

    • Author(s)
      田中覚,内田知将,長谷川恭子,李亮
    • Organizer
      日本シミュレーション学会・2021年非線形問題の解法と可視化に関する研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] 深層学習を用いたアップサンプリングに基づく3次元計測データのエッジ強調可視化2021

    • Author(s)
      LI Weite,長谷川恭子,李亮,田中覚
    • Organizer
      日本シミュレーション学会・2021年非線形問題の解法と可視化に関する研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] A Preliminary Attempt to Evaluate Machine Translations of Ukiyo-e Metadata Records2020

    • Author(s)
      Yuting Song, Biligsaikhan Batjargal, and Akira Maeda
    • Organizer
      The 22nd International Conference on Asia-Pacific Digital Libraries
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] Finding Identical Ukiyo-e Prints across Databases in Japanese, English and Dutch2020

    • Author(s)
      Yuting Song, Biligsaikhan Batjargal, and Akira Maeda
    • Organizer
      Digital Humanities 2020
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] AI と文化財の可視化2020

    • Author(s)
      李 亮
    • Organizer
      日本学術会議公開シンポジウム「科学的知見の創出に資する可視化 (5):ICT /ビッグデータ時代の文理融合研究を支援する可視化」
    • Related Report
      2020 Research-status Report
    • Invited
  • [Presentation] マルチデータソースを統合したポイントレンダリングに基づく大規模文化遺跡の可視化2020

    • Author(s)
      Pan JIAO, 李亮, 長谷川恭子, 田中覚
    • Organizer
      先進的描画技術を用いた可視化情報の研究会(VR2020)
    • Related Report
      2020 Research-status Report
  • [Presentation] 3D Reconstruction and Visualization of Borobudur Temple2020

    • Author(s)
      Liang Li,
    • Organizer
      インドネシア研究懇話会(KAPAL)第2回研究大会
    • Related Report
      2020 Research-status Report
  • [Presentation] アンビエントオクルージョンを用いた半透明立体視の奥行き認知改善2020

    • Author(s)
      片岡孝太,坂野雄一,坂本尚久,藤田泰之,長谷川恭子,李亮,田中覚
    • Organizer
      可視化情報学会・第48回可視化情報シンポジウム
    • Related Report
      2020 Research-status Report
  • [Presentation] ノイズを含む3次元計測点群の特徴強調可視化におけるノイズ透明化2020

    • Author(s)
      片平瑞基,長谷川恭子,李亮,田中覚
    • Organizer
      可視化情報学会・第48回可視化情報シンポジウム
    • Related Report
      2020 Research-status Report
  • [Presentation] 大規模計測点群データ可視化のための超2次曲面を用いた適応的点密度制御---舞鶴の赤レンガ倉庫への適応---2020

    • Author(s)
      岸本将弥,安達基朗,長谷川恭子,李亮,田中覚
    • Organizer
      可視化情報学会・第48回可視化情報シンポジウム
    • Related Report
      2020 Research-status Report
  • [Presentation] 箱庭療法支援のための3次元計測点群を用いたVRシステムの作成2020

    • Author(s)
      河戸優典,岡本紗耶加,伊藤大貴,加藤千恵子,青木 滉一郎,安達基朗,田中覚,長谷川恭子,李亮
    • Organizer
      可視化情報学会・第48回可視化情報シンポジウム
    • Related Report
      2020 Research-status Report
  • [Presentation] A High Quality Sampling Method of 3D Scanned Point Clouds based on Improved Poisson Disk Sampling2019

    • Author(s)
      You Zhou, Kyoko Hasegawa, Liang Li, Atsushi Okamoto and Satoshi Tanaka
    • Organizer
      The 15th Joint Workshop on Machine Perception and Robotics 2019 (MPR 2019)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Visualization to Assist Sandplay Therapy based on 3D Scanned Data2019

    • Author(s)
      Hiroki Ito, Chieko Kato, Koichiro Aoki, Motoaki Adachi, Kyoko Hasegawa, Liang Li and Satoshi Tanaka
    • Organizer
      The 38th JSST Annual International Conference on Simulation Technology (JSST2019)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] High-Definition Edge Extraction of Laser-scanned Point Clouds2019

    • Author(s)
      Kota Kawakami, Kyoko Hasegawa, Liang Li and Satoshi Tanaka
    • Organizer
      The 38th JSST Annual International Conference on Simulation Technology (JSST2019)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Visual Plant Simulation based on Transparent Collision Visualization of 3D Scanned Point Clouds2019

    • Author(s)
      Weite Li, Kenya Shigeta, Kyoko Hasegawa, Liang Li, Keiji Yano, Satoshi Tanaka and Motoaki Adachi
    • Organizer
      The 38th JSST Annual International Conference on Simulation Technology (JSST2019)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] High-quality Visualization of Large-Scale Noisy Point Clouds Acquired by 3D Scanning2019

    • Author(s)
      Tomomasa Uchida, Kyoko Hasegawa, Liang Li, Motoaki Adachi and Satoshi Tanaka
    • Organizer
      The 38th JSST Annual International Conference on Simulation Technology (JSST2019)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] A High Quality Sampling Method of 3D Scanned Point Clouds based on Improved Poisson Disk Sampling2019

    • Author(s)
      You Zhou, Kyoko Hasegawa, Liang Li, Atsushi Okamoto and Satoshi Tanaka
    • Organizer
      The 38th JSST Annual International Conference on Simulation Technology (JSST2019)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] High-Quality and Transparent Visualization of Large-Scale Point Clouds Acquired by 3D Scanning2019

    • Author(s)
      Satoshi Tanaka
    • Organizer
      CYBERWORLDS 2019
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] Improving Japanese-English Bilingual Mapping of Word Embeddings based on Language Specificity2019

    • Author(s)
      Yuting Song, Biligsaikhan Batjargal, Akira Maeda
    • Organizer
      2019 International Conference on Asian Language Processing
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research

URL: 

Published: 2019-10-10   Modified: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi