2019 Fiscal Year Research-status Report
ディープラーニングを用いた環境推定が可能な環境設計支援複合現実感システムの開発
| Project/Area Number |
19K12681
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
福田 知弘 大阪大学, 工学研究科, 准教授 (80379114)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 設計支援 / 複合現実 / 深層学習 / 動的オクルージョン処理 / セマンティックセグメンテーション / リアルタイム物体検出 / 隠消現実 / 景観シミュレーション |
|---|
| Outline of Annual Research Achievements |
本研究は、都市・建築分野を対象に、現状や将来の環境変化を自動的に推定しながら直感的、科学的に計画設計評価が可能な複合現実感（Mixed Reality：MR）システムの開発を行うものである。
2019年度に取り組んだ主な内容は、下記の通りである。
・移動オブジェクトのリアルタイム矩形検出を含むMRの開発と評価：MRのオクルージョン（3次元仮想モデルとライブ映像との正確な前後関係の表現）やDR（隠消現実）での仮想的な除去を移動オブジェクトに対して実現するために、MR実行中にリアルタイムに検出可能な機能を高速なネットワークモデルを用いて開発した。さらに、移動物体の画面中に占める割合と検出精度の関係について調査した。
・移動オブジェクトのリアルタイム輪郭検出を含むMRの開発：上の方法では、移動物体はバウンディングボックス（外接長方形）で検出されるため、正確なMR/DR表現としては不十分である。そこで、オブジェクトの輪郭を検出可能なセマンティックセグメンテーションのネットワークモデルをMRで実行可能とする機能を開発した。さらに緑視率計測機能を開発して、現況と将来景観を定量的に推定可能なシステムとした。また、セマンティックセグメンテーションのネットワークモデルを高速に処理するためには、屋外現地で使用するノートPCでは不満足でデスクトップPCが必要となる。そこで、両者をネットワークで接続するリモート機能を開発した。第1段階としてLAN上にて、第2段階としてインターネット上にて、適用可能とした。
3. The eCAADe + SIGraDi 2019 Conference、国際日本建築学会 第42回情報・システム・利用・シンポジウムで論文発表を行った。また、CAADRIA 2020 国際会議へ投稿した論文が受理された。2020年度に発表を行う予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
「研究実績の概要」で報告した通り、セマンティックセグメンテーションを含むMRと環境推定開発は予定通り進めることができた。また、査読付きの国際会議論文など対外発表することもできた。さらに、複数の論文投稿を別途行っており、現在、査読中である。
|
| Strategy for Future Research Activity |
セマンティックセグメンテーションは、オブジェクトのカテゴリー別（樹木、フェンス、建物、道路など）に分類可能であるが、おなじカテゴリーの個々のオブジェクトには分類できない。そのため、都市空間など同一カテゴリーのオブジェクトが複数存在する場合（建物や樹木が近景と遠景に存在する場合など）に不正確なオクルージョンとなる。これを実現するネットワークモデルとして、インスタンスセグメンテーションがある。都市空間の現状を視覚的に把握するために、最新のディープニューラルネットワークモデルの調査を行いつつ、リアルタイム処理を基本とするMRとの適用可能性を検討しながら、新たな方法論を実現するためのシステム開発を進めていきたい。
|
| Causes of Carryover |
購入予定であった機材は様々な特徴を有するものが順次リリースされている状況であり、検討した結果、次年度の選定・調達が妥当であると判断した。また、コロナウィルスの世界的拡大影響により、納期が予定より遅れ、次年度支払いとなった。
|
Research Products
(6 results)
