2022 Fiscal Year Research-status Report
ノイズロバストな透視可視化に基づく，大規模文化遺跡の３次元計測ビッグデータ活用
| Project/Area Number |
19KK0256
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
田中 覚 立命館大学, 情報理工学部, 教授 (60251980)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
長谷川 恭子 立命館大学, 総合科学技術研究機構, 准教授 (00388109)
李 亮 立命館大学, 情報理工学部, 准教授 (00609836)
SONG Yuting 立命館大学, 情報理工学部, 助教 (50849388) [Withdrawn]
北原 大地 大阪大学, 工学研究科, 特任研究員 (20802094)
|
|---|
| Project Period (FY) |
2019-10-07 – 2024-03-31
|
| Keywords | ３次元計測ビッグデータ / 超高精細可視化 / デジタルアーカイブ / ボロブドゥール寺院 / 奈良世界遺産 |
|---|
| Outline of Annual Research Achievements |
2022年度もコロナ禍が続き、ボロブドゥール寺院の3次元計測のためのインドネシア渡航はできなかった。そのため、インドネシアの研究協力者であるのFadjar I. Thufail氏、Brahmantara氏らを日本に招聘し、高精度近接計測を依託した。計測は、2023年度末に寺院の第1階層と第2階層の回廊に対して実施された。計測で取得したデータはインターネット経由で入手し、現在、内容を確認中である。
2022年度の第1の研究成果は、統合ビジュアルコンテンツとデータベースの構築である（本年度に人件費の支出が多いのは、その実務作業のために研究者を1名雇用したためである）。ボロブドゥール寺院の、（1）取得済みの3次元計測データ、(2) 古写真から3次元復元した寺院の第0階層の隠されたレリーフのデータ、(3) 第1階層のレリーフ毎の高精細写真などのデジタルデータを統合し、寺院の3次元構造の分析を支援する統合ビジュアルコンテンツを構築した。このコンテンツは、なら歴史芸術文化村のイベント等で紹介した。また、このコンテンツと連携動作するデータベースを構築し、立命館大学アート・リサーチセンターで稼働中である。なお、これらの成果に関しては、国際会議論文を準備中である。
2022年度の第2の研究成果は、凹凸の幅が少ないレリーフ（浮き彫り）などに適したセマンティックセグメンテーション法の開発である。同手法は、従来の画像処理系の手法では困難であった、レリーフに彫られた人、動物、家、樹木などの自動分類を可能にした。これは、3次元計測点群から丸みを帯びた3次元エッジを抽出する技術(2020年に論文発表)と深層学習技術を組み合わることで可能になったものである。この成果に関しては、Remote Sensing 誌 (IF: 5.349)で論文が採択されている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
コロナ禍による3次元計測データ収集の遅れはあるものの、それ以外の点では計画は順調に進展している。
当初予定していた手法開発は概ね完了している。ノイズを自動消去する超高精細可視化手法に関しては、半透明可視化を対象とする理論構築が完成している。次に、不透明な写実的可視化に関しても、半透明可視化の透明度を小さくすることで疑似的に対応できている。最後に、3次元エッジなどの特徴強調可視化に関しては、鋭角的なシャープエッジだけでなく丸みを帯びたソフトエッジの強調可視化に成功している。また、この強調可視化手法を深層学習技術と組み合わせることで、隠されたレリーフの写真からの3次元復元や、レリーフに描かれたアイテムのセマンティックセグメンテーションの手法も開発することができた。
上記の手法開発の成果群に対応して、トップジャーナル論文、トップ国際会議論文を含む多数の論文発表と、産学協同でのソフトウェア開発を行うことができた。開発したソフトウェアは ClearPoints という名称で世に出ている。
最後に、当初に構築を計画していたビジュアルコンテンツに関しては、インドネシアのボロブドゥール寺院に関して、統合デジタルコンテンツおよびそれと連携動作するデータベースという形で、プロトタイプ版を構築済みである。
|
| Strategy for Future Research Activity |
2023年度には、上述の追加の近接3次元計測データを利用し、これまでに開発した手法を用いて可視化画像／映像を作成する。次に、それらを統合デジタルコンテンツおよび連携データベースのプロトタイプ版に組み込む。これで、ボロブドゥール寺院第0階層（隠された基壇）、第1階層、第2階層のコンテンツ化とデータベース化が完成する。ここまでで、（計測対象の面積比で計算して）寺院全体の約70%のデジタルアーカイビングとコンテンツ／データベース化が完了することになる。残り30%に関しては、引き続き、インドネシア側と連携して高精細な近接3次元計測を続ける予定であるが、ドローンによる標準／低解像度のデータは取得済みであるため、一応は、寺院全体のデータを入手できている。
上記の計画に加えて、取得した3次元計測点群を（ポリゴン化などの）データ加工を行わずにそのまま利用して、大規模文化遺跡の現物に忠実なデジタルツインを構築しVR可視化する技術を開発する。そのために、産学協同のプロジェクトを立ち上げ、数億点以上の大規模点群をリアルタイム表示できる高速VR技術を開発する。ボロブドゥール寺院以外にも、3次元計測を実施済みの奈良・玉置神社（ユネスコ世界遺産）、祇園祭の山鉾巡行のVRシステム等を構築する計画である。
|
| Causes of Carryover |
2022年度もコロナ禍が続き、ボロブドゥール寺院の3次元計測のためのインドネシア渡航ができなかったため。
|
