2020 Fiscal Year Research-status Report
ディープラーニングを用いた環境推定が可能な環境設計支援複合現実感システムの開発
| Project/Area Number |
19K12681
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
福田 知弘 大阪大学, 工学研究科, 准教授 (80379114)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 設計支援 / 複合現実 / 深層学習 / 動的オクルージョン処理 / インスタンスセグメンテーション / ドローン / 隠消現実 / 景観シミュレーション |
|---|
| Outline of Annual Research Achievements |
本研究は、都市・建築分野を対象に、現状や将来の環境変化を自動的に推定しながら直感的、科学的に計画設計評価が可能なMR（複合現実）システムの開発を行うものである。2020年度の成果を以下に示す。
・2019年度に開発した、現実世界のオブジェクトを深層学習によりリアルタイム検出して仮想除去を行うDR（隠消現実）に関する論文が掲載された。また、現実世界のオブジェクトをクラス（車や樹木などの種類）別に輪郭検出してMRのオクルージョン（3Dモデルと現実世界との正確な前後関係の表現）をインターネット経由で実現するMRに関する論文が掲載された。また、以下に示す成果は国内外の学会で継続的に発表を行った。
・オブジェクト単位のMRオクルージョン手法の開発：上述したMRオクルージョン手法では、同じクラスに含まれる複数のオブジェクトは同一クラスとして検出される。このため、現実世界の車と車の間に、3次元設計モデルを挿入するようなMRオクルージョンは実現できない。そこで、深層学習のインスタンスセグメンテーション技術をMRに統合し、オブジェクト毎にMRオクルージョンを実現する手法を開発した。
・ドローンとMRの統合システムの開発：MRは通常、ユーザーが携帯する端末で体験するため、MRシミュレーションの視点は限られる。空中など、より自由な視点からのMRを実現するために、ドローンとMRを統合した。
・3Dモデルを用いたAI学習用サンプル自動生成：深層学習を機能させるためには、膨大な学習サンプルを必要とする。実世界から建物を抽出したい場合、実世界の建物写真を大量に集めることと、その写真に含まれる建物領域（正解）を選択する作業が必要になり課題である。そこで、航空写真付き3Dモデルを利用して、建物の屋根などのマスク画像を含むデータセットを自動生成するシステムを開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
「研究実績の概要」で報告した通り、2019年度に取り組んだ成果を2編の論文として、ジャーナル誌に投稿、掲載することができた。また、査読付きの国際会議論文など学会発表することもできた。
さらに開発した課題を踏まえて、インスタンスセグメンテーションを含むMRオクルージョン、ドローンとMRの統合など、新たな手法の開発に着手しており、順調に推移している。現在は、学術雑誌への論文投稿、査読付き国際会議論文投稿を実施済みであり、査読中である。
|
| Strategy for Future Research Activity |
・現在、インスタンスセグメンテーションを用いたMRオクルージョンを実現するにあたり、同じクラスのどのオブジェクトが前方にあり、どのオブジェクトが後方にあるか、自動判別する手法を開発中である。この自動判別手法の汎用性を高めていく必要がある。
・ドローンとMRの統合において、MRオクルージョンを実現するにあたり、深層学習を用いた手法では処理増に伴う遅延が生じ、正確な表現が困難であった。そこで、3Dモデルを活用する他のアプローチを含めて、検討を進める。
・今年度、雑誌論文が掲載された収録誌タイトルは、Environmental Modelling and Software (Cite Score 2019: 9.0, 最大パーセンタイル: 96（Environmental Science - Environmental Engineering）)、Advanced Engineering Informatics (Cite Score 2019: 6.9, 最大パーセンタイル: 86（Computer Science - Information Systems）) であり、いずれも当該分野で高いランクであった。次年度も同様に高いランクの収録誌への掲載に向けて取り組んでいきたい。
|
| Causes of Carryover |
コロナウィルスの世界的拡大影響により、国際会議がオンラインに変更となった。また、購入予定であった機材は様々な特徴を有するものが順次リリースされている状況であり、検討した結果、次年度の選定・調達が妥当であると判断した。
|
