2021 Fiscal Year Annual Research Report
Ultra-High-Resolution Visualization of 3D Scanned Big Data for Assisting Recognition of Large-Scale 3D Structures in the Real World
| Project/Area Number |
21H04903
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
田中 覚 立命館大学, 情報理工学部, 教授 (60251980)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
陳 延偉 立命館大学, 情報理工学部, 教授 (60236841)
矢野 桂司 立命館大学, 文学部, 教授 (30210305)
李 亮 立命館大学, 情報理工学部, 准教授 (00609836)
長谷川 恭子 立命館大学, 情報理工学部, 講師 (00388109)
伊達 宏昭 北海道大学, 情報科学研究院, 准教授 (20374605)
坂本 尚久 神戸大学, システム情報学研究科, 准教授 (20402745)
山口 欧志 独立行政法人国立文化財機構奈良文化財研究所, 埋蔵文化財センター, 研究員 (50508364)
坂野 雄一 国立研究開発法人情報通信研究機構, 未来ICT研究所脳情報通信融合研究センター, 主任研究員 (10443904)
|
|---|
| Project Period (FY) |
2021-04-05 – 2025-03-31
|
| Keywords | 3次元計測点群 / 深層学習 / 不透明度ベースエッジ強調可視化 / 3次元モデル復元 / マルチデータソース半透明可視化 / 点群ベースVR |
|---|
| Outline of Annual Research Achievements |
まず、文化財のレリーフのような凹凸幅の少ない形状に関して、単眼写真から3次元モデルを復元する我々の手法（深層学習を利用）を改良し、復元率を95パーセントから97パーセントに向上させた。この改善は、2020年に論文発表した、3次元計測点群から立体のエッジ情報を抽出・可視化する「不透明度ベースエッジ強調可視化」の手法を応用することで可能になったものである。数字としてはわずか2パーセントの改善であるが、細部の高精細化の効果は大きい。この研究成果に関して、3次元計測分野のトップジャーナルであるISPRS Journal 誌(インパクトファクタ 11.774)で論文が採択された。
次に、インドネシアのユネスコ世界遺産であるボロブドゥール寺院遺跡に関して、(1)外部の3次元計測データ、(2)地下基礎工事部分の3次元復元データ、そして(3)隠された基壇のレリーフの3次元復元データを全て点群化して、ボロブドゥール寺院の全体像を高精細に透視して視認できる「マルチデータソース半透明可視化」に成功した。この研究成果に関して、3次元計測分野のトップジャーナルである Remote Sensing誌(インパクトファクタ 5.349)で論文が採択された。
次に、3次元計測点群を入力データとして、現実世界に忠実なVR空間を構築する手法を開発した。この成果を、奈良・當麻寺の西塔（国宝）やボロブドゥール寺院に適用し、その有効性を実証した。この研究成果に関して、3次元計測分野のトップカンファレンスある ISPRS Congress 2021で論文を発表した(会議録のh5 指標 57)。また、点群VRに関して、主成分分析を用いて立体のエッジ領域を強調可視化することで、半透明立体視の奥行き認知を改善できることを解明した（ジャーナル論文発表済み）。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2021年度までの成果は、当初掲げた目標に沿って、以下のようにまとめられる。
(1)超高精細可視化技術の開発について： ノイズを自動消去する超高精細可視化手法に関しては、半透明可視化を対象とする従来手法を改良し、半透明可視化におけるノイズ消失効果を向上させることに成功した。また、半透明可視化の透明度を小さくすることで、十分なノイズ消失効果を有する写実的可視化を実現できることが分かった。
(2)立体構造の強調可視化について： 局所的な主成分分析を用いて、3次元計測された立体の3次元エッジを強調可視化することで、半透明可視化の奥行き認知を改善できることを解明できた。これは、今後ビジュアル分析のための非写実的VRを開発するために有用な知見である。
(3)データ欠損の補完可視化について： 深層学習の技術を用いて、微細な凹凸を有する3次元形状を、単眼写真から立体復元する技術を開発できた。これは、現物が失われて写真のみが残された立体形状を復元し、現存の物体と融合させて3次元モデルを構築するために有用な技術である。
(4)超高精細VRについて： 3次元計測点群を入力データとして用いる点群ＶRに関して、プロトタイプシステムを構築できた。今後、ビジュアル分析のための非写実的VRを開発するための基盤も構築できた。
以上のように、各目標に関して着実に進捗があり、したがって、研究計画は順調に進展していると判断する。
|
| Strategy for Future Research Activity |
今後は、これまでの研究成果を踏まえて、以下のように研究を進める予定である。
(1)超高精細可視化技術の開発について： 写実的可視化におけるノイズ自動消去に関して、新たな視点での手法を開発する。具体的には、点群を描画単位とするデプスピーリング法を開発し、その実行過程で適切なレイヤー選択を行った上でピクセル単位のノイズ平滑化行う手法を開発する。
(2)立体構造の強調可視化について： 3次元計測点群から計測対象物の3次元エッジを抽出し可視化する手法を発展させる。鋭角的なシャープエッジに関しては、我々が提案した「不透明度ベースエッジ強調可視化」は、ほぼ完成の域にある。今後はこれを、丸みを帯びたソフトエッジあるいはシャープ・ソフト混合エッジに適用できるように発展させる。不透明度を制御する関数や利用する特徴量に関して、新規な工夫を行う。
(3)データ欠損の補完可視化について： 深層学習の技術を用いて、計測において生じたデータ欠損を補完する手法を開発する。効果が限られることが知られている既存手法の深層学習ネットワークに、エッジ情報などの学習過程を付加することなどで、大幅な改良を行う。
(4)超高精細VRについて： 点群のLOD処理により、入力データとして扱える点数を数千万点から数億点に増大させる。これに平行して、少ない点数で可視面を効率的に埋め尽くす手法も開発する。
|
