2021 Fiscal Year Annual Research Report
ディープラーニングを用いた環境推定が可能な環境設計支援複合現実感システムの開発
| Project/Area Number |
19K12681
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
福田 知弘 大阪大学, 工学研究科, 准教授 (80379114)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 設計支援 / 複合現実 / 深層学習 / 動的オクルージョン処理 / インスタンスセグメンテーション / ドローン / 隠消現実 / 景観シミュレーション |
|---|
| Outline of Annual Research Achievements |
本研究は、都市・建築分野を対象に、現状や将来の環境変化を自動的に推定しながら計画設計評価が可能なMR（複合現実）システムの開発を行う。2021年度の主な成果を以下に示す。
・オブジェクト単位のMRオクルージョン法：これまで開発したMRオクルージョン（3D仮想モデルと現実世界との正確な前後関係の表現）法は、同じクラスの複数のオブジェクトは同一クラスとして扱われるため、現実世界の車と車の間に、3D仮想設計モデルを挿入することはできない。そこで、深層学習のインスタンスセグメンテーションをMRに統合したシステムを開発し、国際学会に論文投稿、採択され、発表した。
・ドローンとMRの統合システムの開発：MRは通常、ユーザーの携帯端末で体験するため、MR体験可能な視点は限られる。空中など、より自由な視点からのMRを実現するため、ドローンとMRを統合するシステムを都市デジタルツィン・アプローチでオクルージョン法を含めて開発し、国際学会に論文投稿、採択され、発表した。
・現実世界を仮想除去するDR（隠消現実）について、仮想除去対象の抽出を深層学習のセマンティックセグメンテーションにて、さらに、仮想除去後に現れる背景のインペインティングを深層学習のGAN（敵対的生成ネットワーク）により自動処理するシステムを開発し、国際学会に論文投稿、採択され、発表した。
・建物ファサードを対象としたAI学習用サンプル自動生成法：深層学習を機能させるためには膨大な学習サンプルが必要である。実世界の建物を抽出したい場合、建物写真を大量に集めること、その写真に含まれる建物領域を選択する作業が膨大になり課題である。そこで、建物ファサードを対象として、ストリートビュー（写真）や3D仮想都市モデルから、不要なオブジェクトを除去した上で、建物ファサードのマスク画像を含むデータセットを自動生成するシステムを開発した。
|
