• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Research-status Report

ノイズロバストな透視可視化に基づく,大規模文化遺跡の3次元計測ビッグデータ活用

Research Project

Project/Area Number 19KK0256
Research InstitutionRitsumeikan University

Principal Investigator

田中 覚  立命館大学, 情報理工学部, 教授 (60251980)

Co-Investigator(Kenkyū-buntansha) 長谷川 恭子  立命館大学, 情報理工学部, 講師 (00388109)
李 亮  立命館大学, 情報理工学部, 准教授 (00609836)
SONG Yuting  立命館大学, 情報理工学部, 助教 (50849388)
Project Period (FY) 2019-10-07 – 2023-03-31
Keywords3次元計測ビッグデータ / 超高精細可視化 / デジタルアーカイブ / ボロブドゥール寺院
Outline of Annual Research Achievements

まず、ボロブドゥール寺院の「隠された基壇」の壁面レリーフを単眼写真から3次元復元する手法を改良し、復元率を95パーセントから97パーセントに上げることができた。数字としてはわずか2パーセントの改善であるが、細部の高精細さの改善効果は大きい。この研究成果に関して、3次元計測分野のトップジャーナルであるISPRS Journal誌で論文が採択された。
次に、ボロブドゥール寺院遺跡の外部の3次元計測データ、地下基礎工事部分の3次元復元データ、そして隠された基壇のレリーフの3次元復元データを全て点群化して、ボロブドゥール寺院の全体像を高精細な透視可視化で視認できるようにすることに成功した。この研究成果に関して、3次元計測分野のトップジャーナルである Remote Sensing誌で論文が採択された。加えて、点群として生成された寺院全体の3次元モデルを利用して、現実を正確に反映した点群ベースVRシステムを構築した。この研究成果に関しては、3次元計測分野のトップカンファレンスある ISPRS Congress 2021で論文が採択された。
最後に、昨年までの研究で開発した、文化財の3次元計測データから3次元エッジなどの形状特徴領域を抽出して強調可視化する手法を改良して、エッジ上の点数が少ない場合でも高精細な結果が得られるようにした。とくに、文化財で多く見られる丸みを帯びたエッジの可視化を高品質化した。この研究成果に関しても、3次元計測分野のトップジャーナルである Remote Sensing誌で論文が採択された。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

コロナ禍のため、インドネシアでの新たな3次元計測は実施できなかった。しかし、これまでに取得したデータを活用して、上記のように、十分な研究成果をあげることができた。トップジャーナルでの論文掲載3件、トップカンファレンスで1件の論文採択は、予想以上の成果である。また、本研究の成果は、研究代表者の田中により、複数の国際会議や日本学術会議公開シンポジウムなどでのキーノート講演や招待講演で報告されている。
上記のように、手法開発を含む学術的な成果は十分であるが、本プロジェクトの目的のひとつである可視化コンテンツの開発に関しては、計測済みのデータのみを用いて構築しているため、完全なものとは言い難い。それでも、寺院全体の透視可視化やVRシステムを実現するなど、成果物は確実に仕上がりつつある。ただし、VRシステムに関しては、まだプロトタイプの状態であり、本年度中に完成度を高めたい。
なお、現在、本年度中に3次元計測を再開すべく、インドネシア側と相談中である。

Strategy for Future Research Activity

本研究では、ボロブドゥール寺院の(1)寺院表面、(2)地下基礎工事部分、(3)隠された基壇の3つの部分について、それぞれ異なるデータソースから3次元モデルを構築できた。そして、構築された3つの3次元モデルを点群データとして統合し、寺院全体を記述する点群ベース3次元モデルを作成できた。これにより、見えない部分も含めた寺院全体を透視可視化で観察することができるようになった。今後はこの点群ベース統合3次元モデルを活用し、寺院が地下部分から始めて次第に建造されている過程を、透視可視化を用いて表現する。透視可視化を用いれば、時系列で建造されていく寺院に関して、建造の各時点で組み上げられた部分を全て視認できる。すなわち透視可視化は、3次元シーンの時間発展情報を表現する4次元可視化の新しいアプローチと言える。このような、新しい4次元可視化を実現したい。また、VRシステムの完成度も上げ、4次元可視化とも連動させたい。
ボロブドゥール寺院のデジタルアーカイブの作業はまだ未完であり、かつ、進行中である。将来的には、寺院の全ての部分の精密な3次元計測を完了し、3次元/4次元可視化の質を向上させる予定である。また、デジタルアーカイブされたデータとその可視化画像を有効に活用し、ボロブドゥール寺院のビジュアルデータベースを構築する予定である。

Causes of Carryover

2021年度には、コロナ禍のため、日本人メンバーのインドネシア訪問、インドネシア人の研究協力者の日本招聘、そしてボロブドゥール寺院等の3次元計測が実施ができず、そのための予算が執行できなかった。ただし、前年度までに取得したデータを用いて、研究業績は十分にあげることができた。
2022年度に繰り越された予算は、これまでに取得した3次元計測データ及びそれらの可視化画像等を活用して、ボロブドゥール寺院の仮想体験VRコンテンツや壁面レリーフパネルのデータベース化を構築するための人件費にあてる。加えて、追加の3次元計測やインドネシアからの研究者招聘を、本来の2022年度の予算を用いてできる限り行う。

  • Research Products

    (34 results)

All 2022 2021 Other

All Int'l Joint Research (1 results) Journal Article (8 results) (of which Int'l Joint Research: 4 results,  Peer Reviewed: 6 results,  Open Access: 5 results) Presentation (23 results) (of which Int'l Joint Research: 7 results,  Invited: 4 results) Remarks (2 results)

  • [Int'l Joint Research] インドネシアの国立研究革新庁 (BRIN)/ボロブドゥール遺跡保存局 (BKB)/ジョグジャカルタ考古学センター(インドネシア)

    • Country Name
      INDONESIA
    • Counterpart Institution
      インドネシアの国立研究革新庁 (BRIN)/ボロブドゥール遺跡保存局 (BKB)/ジョグジャカルタ考古学センター
  • [Journal Article] 3D reconstruction of Borobudur reliefs from 2D monocular photographs based on soft-edge enhanced deep learning2022

    • Author(s)
      Pan Jiao、Li Liang、Yamaguchi Hiroshi、Hasegawa Kyoko、Thufail Fadjar I.、Brahmantara、Tanaka Satoshi
    • Journal Title

      ISPRS Journal of Photogrammetry and Remote Sensing

      Volume: 183 Pages: 439~450

    • DOI

      10.1016/j.isprsjprs.2021.11.007

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Integrated High-Definition Visualization of Digital Archives for Borobudur Temple2021

    • Author(s)
      Pan Jiao、Li Liang、Yamaguchi Hiroshi、Hasegawa Kyoko、Thufail Fadjar I.、Brahmantara、Tanaka Satoshi
    • Journal Title

      Remote Sensing

      Volume: 13 Pages: 5024~5024

    • DOI

      10.3390/rs13245024

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] A DIGITAL ARCHIVE OF BOROBUDUR BASED ON 3D POINT CLOUDS2021

    • Author(s)
      Kawato M.、Li L.、Hasegawa K.、Adachi M.、Yamaguchi H.、Thufail F. I.、Riyanto S.、Tanaka S.、Brahmantara
    • Journal Title

      The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences

      Volume: XLIII-B2-2021 Pages: 577~582

    • DOI

      10.5194/isprs-archives-XLIII-B2-2021-577-2021

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Deep Learning-Based Point Upsampling for Edge Enhancement of 3D-Scanned Data and Its Application to Transparent Visualization2021

    • Author(s)
      Li Weite、Hasegawa Kyoko、Li Liang、Tsukamoto Akihiro、Tanaka Satoshi
    • Journal Title

      Remote Sensing

      Volume: 13 Pages: 2526~2526

    • DOI

      10.3390/rs13132526

    • Peer Reviewed / Open Access
  • [Journal Article] Visuomotor control of intermittent circular tracking movements with visually guided orbits in 3D VR environment2021

    • Author(s)
      Choi Woong、Yanagihara Naoki、Li Liang、Kim Jaehyo、Lee Jongho
    • Journal Title

      PLOS ONE

      Volume: 16 Pages: e0251371

    • DOI

      10.1371/journal.pone.0251371

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Application of Multiple Iso-Surface Rendering to Improvement of Perceived Depth in Transparent Stereoscopic Visualization2021

    • Author(s)
      Aoi Daimon、Hasegawa Kyoko、Li Liang、Sakano Yuichi、Tanaka Satoshi
    • Journal Title

      Journal of Advanced Simulation in Science and Engineering

      Volume: 8 Pages: 128~142

    • DOI

      10.15748/jasse.8.128

    • Peer Reviewed
  • [Journal Article] Invisiblization of Measurement Noise for Visualization of 3D Scanned Data2021

    • Author(s)
      TANAKA Satoshi
    • Journal Title

      Journal of the Visualization Society of Japan

      Volume: 41 Pages: 7~11

    • DOI

      10.3154/jvs.41.160_7

  • [Journal Article] ICTとビックデータの時代における文化財の保存・活用への挑戦2021

    • Author(s)
      田中覚
    • Journal Title

      月刊文化財

      Volume: 692号(令和3年5号) Pages: 4~7

  • [Presentation] 計測点群の半透明立体視における視覚ガイドとしてのエッジ強調可視化2022

    • Author(s)
      青井 大門,長谷川 恭子, 李 亮 ,坂野 雄一,坂本 尚久,田中 覚
    • Organizer
      2022年度精密工学会春季大会
  • [Presentation] 鎧兜の3次元計測データに基づくデジタルコンテンツの作成2022

    • Author(s)
      ZHANG Zian
    • Organizer
      第11回 知識・芸術・文化情報学研究会
  • [Presentation] 深層学習によるボロブドゥール寺院壁画レリーフのセマンティック・セグメンテーション2022

    • Author(s)
      季申予
    • Organizer
      第11回 知識・芸術・文化情報学研究会
  • [Presentation] Stochastic Noise Reduction for High-Quality Transparent Visualization of 3D Scanned Point Clouds2021

    • Author(s)
      Satoshi Tanaka
    • Organizer
      the 20th Asia Simulation Conference 2021
    • Int'l Joint Research / Invited
  • [Presentation] Application of the Edge Upsampling Network to Soft-Edge Regions in a 3D-Scanned Point Cloud2021

    • Author(s)
      Weite Li, Kyoko Hasegawa, Liang Li, Akihiro Tsukamoto, Yamaguchi Hiroshi, Fadjar I. Thufail, Brahmantara, Satoshi Tanaka
    • Organizer
      the 20th Asia Simulation Conference 2021
    • Int'l Joint Research
  • [Presentation] Noise-Robust Transparent Visualization of Large-Scale Point Clouds Acquired by 3D Scanning2021

    • Author(s)
      Satoshi Tanaka
    • Organizer
      Simulation Technology Application Conference 2021
    • Int'l Joint Research / Invited
  • [Presentation] Adaptive Opacity Control using Implicit Function for Visualizing Large-Scale 3D Measurement Point Clouds2021

    • Author(s)
      Masaya Kishimoto, Motoaki Adachi, Kyoko Hasegawa, Liang Li and Satoshi Tanaka
    • Organizer
      The 40th JSST Annual International Conference on Simulation Technology (JSST2021)
    • Int'l Joint Research
  • [Presentation] Improving Depth Perception of Transparent Objects in Stereoscopic Vision using Ambient Occlusion2021

    • Author(s)
      Kota Kataoka, Yuichi Sakano, Naohisa Sakamoto, Kyoko Hasegawa, Liang Li, Satoshi Tanaka
    • Organizer
      The 40th JSST Annual International Conference on Simulation Technology (JSST2021)
    • Int'l Joint Research
  • [Presentation] Improvement of Visibility in Feature Emphasis Visualization of 3D Measured Point Cloud2021

    • Author(s)
      Mizuki Katahira, Kyoko Hasegawa, Liang Li and Satoshi Tanaka
    • Organizer
      The 40th JSST Annual International Conference on Simulation Technology (JSST2021)
    • Int'l Joint Research
  • [Presentation] Joint Extraction of Clinical Entities and Relations Using Multi-head Selection Method2021

    • Author(s)
      Xintao Fang, Yuting Song, Akira Maeda
    • Organizer
      2021 International Conference on Asian Language Processing (IALP 2021)
    • Int'l Joint Research
  • [Presentation] ICT 時代の文理融合研究を創出する可視化2021

    • Author(s)
      田中覚
    • Organizer
      日本学術会議公開シンポジウム・科学的知見の創出に資する可視化分科会(7)
    • Invited
  • [Presentation] ボロブドゥール寺院壁面レリーフの3次元復元のための学習データセット作成支援法2021

    • Author(s)
      JI Shenyu,LI Liang,長谷川 恭子,田中 覚
    • Organizer
      情報処理学会・人文科学とコンピュータシンポジウム(じんもんこん2021)
  • [Presentation] 鎧兜の3次元計測データに基づくデジタルコンテンツの作成2021

    • Author(s)
      ZHANG Zian,LI Liang,長谷川 恭子,田中 覚
    • Organizer
      情報処理学会・人文科学とコンピュータシンポジウム(じんもんこん2021)
  • [Presentation] 世界文化遺産「ボロブドゥール寺院遺跡」の3次元復元と融合可視化2021

    • Author(s)
      田中覚,李亮,長谷川恭子
    • Organizer
      SPAR2021J第17回3次元計測フォーラム
  • [Presentation] 不透明度グラデーションを用いた大阪湾の渦の可視化2021

    • Author(s)
      神阪 壮哉,中田 聡史,長谷川恭子,李亮,田中覚
    • Organizer
      可視化情報学会 第49回可視化情報シンポジウム
  • [Presentation] 3次元計測点群の半透明表示のためのエッジとオブジェクト外縁部の同時強調可視化2021

    • Author(s)
      佐々野 拓人,長谷川恭子,李亮,田中覚
    • Organizer
      可視化情報学会 第49回可視化情報シンポジウム
  • [Presentation] 3次元計測点群データのためのエントロピーを用いた特徴強調可視化2021

    • Author(s)
      中山 拓人,長谷川恭子,李亮,田中覚
    • Organizer
      可視化情報学会 第49回可視化情報シンポジウム
  • [Presentation] 適応的点密度調整に基づく3次元点群データの高精細等高線描画2021

    • Author(s)
      稲田 行宏,長谷川恭子,李亮,田中覚,伊藤 大貴,竹内 庸晴
    • Organizer
      可視化情報学会 第49回可視化情報シンポジウム
  • [Presentation] 半透明立体視の奥行き知覚改善のための多重面を用いた輝度分布調整2021

    • Author(s)
      青井大門,長谷川恭子,李亮,坂野雄一,田中覚
    • Organizer
      可視化情報学会 第49回可視化情報シンポジウム
  • [Presentation] 大規模文化遺跡のデジタルアーカイブデータの統合型高精細可視化2021

    • Author(s)
      Pan JIAO,李亮,山口欧志,長谷川恭子,Fadjar I. Thufail,Bramantara,田中覚
    • Organizer
      日本応用数理学会2021年度年会
  • [Presentation] 深層学習を用いたアップサンプリングに基づく3次元計測データのエッジ強調可視化2021

    • Author(s)
      李威特,長谷川恭子,李亮,塚本章宏,田中覚
    • Organizer
      日本応用数理学会2021年度年会
  • [Presentation] 3次元計測を活用した,ユネスコ世界文化遺産・ボロブドゥール寺院遺跡の高品質可視化2021

    • Author(s)
      田中覚
    • Organizer
      精密工学会 大規模環境の3次元計測と認識・モデル化技術専門委員会
  • [Presentation] ノイズ透明化による3次元計測点群データ高品質可視化2021

    • Author(s)
      田中覚
    • Organizer
      点群データ分析・可視化ワークショップ (主催:可視化情報学会ビジュアルデータサイエンス研究会)
    • Invited
  • [Remarks] 世界初の“3次元透視可視化”技術で文化遺産デジタルアーカイブは新局面へ

    • URL

      https://shiruto.jp/technology/1474/

  • [Remarks] RARA Satoshi Tanaka

    • URL

      https://rara.ritsumei.ac.jp/fellows/satoshi-tanaka/

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi