2022 Fiscal Year Annual Research Report
Ultra-High-Resolution Visualization of 3D Scanned Big Data for Assisting Recognition of Large-Scale 3D Structures in the Real World
| Project/Area Number |
21H04903
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
田中 覚 立命館大学, 情報理工学部, 教授 (60251980)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
陳 延偉 立命館大学, 情報理工学部, 教授 (60236841)
矢野 桂司 立命館大学, 文学部, 教授 (30210305)
李 亮 立命館大学, 情報理工学部, 准教授 (00609836)
長谷川 恭子 立命館大学, 総合科学技術研究機構, 准教授 (00388109)
伊達 宏昭 北海道大学, 情報科学研究院, 准教授 (20374605)
坂本 尚久 神戸大学, システム情報学研究科, 准教授 (20402745)
山口 欧志 独立行政法人国立文化財機構奈良文化財研究所, 埋蔵文化財センター, 研究員 (50508364)
坂野 雄一 愛知学院大学, 心理学部, 教授 (10443904)
|
|---|
| Project Period (FY) |
2021-04-05 – 2025-03-31
|
| Keywords | 3次元計測点群 / ノイズ透明化 / 3次元エッジ強調 / データ欠損補完 / 点群VR |
|---|
| Outline of Annual Research Achievements |
研究実施計画の各項目に関して、特に手法開発とシステム開発において、以下のような成果を上げた。
(1) 超高精細可視化：これまでの研究で透視可視化の高精細化のために開発した「ノイズ透明化手法」を、不透明な写実的可視化に発展的に適用するために、「点群ベースデプスピーリング法」を開発した。これにより、点密度が比較的一様な点群データに関しては、写実的可視化においてもノイズを透明化（自動消失）させることに成功した。この研究成果に関して、国際会議論文を準備中である。
(2) 立体構造の強調可視化：3次元計測点群データの3次元エッジの強調可視化のため、複数の特徴量を適応的に組み合わせてエッジ部を正確に抽出する方法、主成分分析によってエッジの直線の伸びる方向を抽出してその方向に集中的に点アップサンプリングを行う方法などを開発した。これらの研究成果を国際会議 JSST 2022 (オンライン開催)などで発表した。
(3)データ欠損の補完可視化：PU-Net、PU-GAN、3PUなどの点群データを対象とするアップサンプリング手法（深層学習ネットワーク）を調査した。そして、これらの手法に我々のエッジ抽出技術を組み合わせることで、点群データの欠損部分の高精度補完を行える可能性を見出した。
(4)超高精細点群VR：インドネシアのユネスコ世界遺産・ボロブドゥール寺院の3次元計測点群データを用いて構築した点群VRシステムを、歩行型デバイスに対応させた。この研究成果を可視化情報学会の全国大会(オンライン開催)で発表した。また、国際会議論文を準備中である。加えて、奈良県のユネスコ世界遺産・玉置神社に関しても、3次元計測データに基づく点群VRシステムのプロトタイプを構築した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上記の「研究実績の概要」で述べたように、研究計画の全ての項目に関連して、可視化手法の開発および可視化システムの開発は、順調に進展している。コロナ禍により遅れたのは、海外渡航が必要な計画である。具体的にはインドネシアでの新規の3次元計測が行えなかった。また、国際会議の開催の延期・中止のため、国際会議等での成果発信が限定的なものとなった。しかし、これまでに取得した大規模３次元計測データを活用し、新規に購入した高性能計算サーバを用いて開発手法の実験を行い、有望な結果を得ている。また現在、複数の国際会議論文や国際学術論文誌論文を投稿準備中である。さらに、生成画像のデータベースに関しても、これまでに生成した画像群を活用して、新規購入のデータベースサーバで稼働させることができた。今後、このデータベースは、新規の画像や映像、その他のデータを追加し、充実化させることができる。
以上により、研究計画の全ての項目に関連して、研究は順調に進展していると判断する。
|
| Strategy for Future Research Activity |
これまでの研究成果を踏まえて、研究実施計画の各項目に関して以下のように研究を進める。得られた研究成果は、国際会議論文および国際学術論文誌論文として投稿する。
(1) 超高精細可視化：これまでの研究で開発した、点群ベースデプスピーリング法に基づく計測ノイズの透明化（自動消失）を改良し、点密度に粗密のある3次元計測点群に関しても適用できるようにする。具体的には、深層学習技術やポアソンディスクサンプリングなどを有効利用した点群一様化の前処理を導入する。
(2) 立体構造の強調可視化： 3次元計測点群データの3次元エッジの強調可視化を、(1)で得られる超高精細画像に取り入れる手法を開発する。ノイズに強いエッジ強調可視化を実現するために、様々な既存の特徴量を組み合わせて利用するとともに、点分布のエントロピーに基づく新たな特徴量を開発する。
(3)データ欠損の補完可視化：PU-Net、PU-GAN、3PUなどの深層学習ネットワークを利用して、新たなアップサンプリング手法を開発する。具体的には、学習データとして(1)および(2)の開発手法で生成した高精細画像（写実的画像とエッジ強調画像）を活用する。これにより、従来手法に比べて高精度のデータの欠損補完を実現する。
(4)超高精細点群VR： 開発中の点群VRシステムにおけるデータ管理を、八分木あるいはKd木を用いて効率化する。合わせて、(1), (2)の手法をシステムに順次取込む。ボロブドゥール寺院（インドネシア）、祇園祭の山鉾のひとつである太子山、徳島城博物館の甲冑などの3次元計測を新たに行い、得られた3次元計測点群を用いて、それぞれの点群VRシステムを実装する。
|
