2023 Fiscal Year Research-status Report
Digital Twin Construction Method based on Data Driven Real-World Modeling
| Project/Area Number |
22K18422
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
河口 信夫 名古屋大学, 工学研究科, 教授 (10273286)
|
|---|
| Project Period (FY) |
2022-06-30 – 2026-03-31
|
| Keywords | データ駆動 / デジタルツイン / 実世界モデリング |
|---|
| Outline of Annual Research Achievements |
多様なセンシング技術による実世界のデータ化が可能になりつつあるが、単なる画像やセンシング値からは「価値を生み出す施策」の実現は容易ではない。実環境に有用な施策を検証するには、作業者や対象物をオブジェクトやエージェントとしてとらえ、マルチエージェントシミュレーションとして実現することが望まれるがモデル構築のコストが高いことが課題である。
本研究では、データ駆動に基づいて実世界モデリングを行う手法を検討している。そのためには、まず、実世界データを大規模に取得する必要がある。2年目である今年は、物流倉庫カメラ基盤を通じて得られた400Tbyteを超える実世界データを用い、より高度な分析・認識処理の研究開発を進めた。倉庫には、多種多様な荷物が登場するため、従来型の、個別のラベルを人手で付与する方法では、多数のオブジェクトへの対応が容易ではない。そこで、オプティカルフローを用いて移動物体を抽出した後に、その物体を特徴量に応じてクラスタリングし、効率的にモデル化を行う手法を提案した。結果として、10時間かかっていたラベリングが30分以内で実現可能となり、96％以上の時間的コスト削減を実現した。この手法は、難関国際学会PerCom2024(採択率14％)で採択され、国際的にも高く評価されている。
上記のラベリングのためのクラスタリング手法では、動的物体しかクラスタリングができなかった。一方、倉庫内では、活用したい静的物体も多数あるため、両方を認識する手法が重要となる。また、多数のカメラ映像を集めて処理するのではなく、カメラ毎に処理するエッジAIの導入についても検討を行った。結果として、エッジAI向けのモデルを用いてセグメンテーションを行い、エネルギー効率・ネットワーク効率を高め、カメラ毎個別モデルを構築する手法が実現できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
現場でのカメラ基盤を通じたデータ収集の枠組みは順調に進捗しているが、データ量が400テラバイトを超えており、情報処理の規模が大きくなっている。大規模な情報処理に対応するため、エッジAIカメラの活用を進めており、新しい成果を得ることができた。これらの結果を用いて、実世界モデル構築の準備を進めている。
このように、順調に研究は進捗している。
|
| Strategy for Future Research Activity |
実世界データに基づき、デジタルツインを構築するためには、①実世界データ収集、②オブジェクト同定、③空間制約推定、④相互作用推定、⑤実世界モデリング、⑥状態遷移モデルへの縮退、⑦状態遷移モデルによるシミュレーション、に関する研究を実施する必要がある。
初年度からこれまでは、①②の実施を中心として進めており、3年次以後は③～⑦の研究開発を推進する予定である。以下では、③～⑥について説明する。
③ 空間制約推定：②で同定された車両やロボット・人・荷物といったオブジェクトに対し、その空間的制約を推定・追加する機能を構築する。具体的には、道路や壁、ドア、エレベータなどの制約条件を提供する。
④ 相互作用推定：搭乗や接触、運搬といったオブジェクト間の相互作用を推定し、その情報を深層学習に提供する。ドメイン毎にある程度は事前知識として提供可能であるが、細かな相互作用についてはデータに基づく推定を行う。
⑤ 深層学習による実世界モデリング：CNN／LSTMなどを用いて特徴量推定と時系列モデル推定を行う。入力としては、初期段階ではオブジェクト毎の位置・空間制約・相互作用を想定しており、出力としてはオブジェクトの位置や方向・速度を想定している。
⑥ 深層学習モデルから状態遷移モデルへの縮退変換：CNN/LSTMモデルは、表現力が高いため、異なるオブジェクトも同一のモデルで表現できる場合がある。一方、本研究で想定する状態遷移モデルは、異なるオブジェクトは異なる状態遷移表を持つこととする。また、オブジェクト種別毎に必要な状態数や、パラメータ範囲など、状態遷移モデルを推定する枠組みも構築する。さらに、特別な例外など、学習データからは状態遷移上で存在しない状態系列なども追加できる仕組みを導入して、シミュレーションでの利用を汎化する。
|
| Causes of Carryover |
本研究は実世界モデルの対象とする企業との共同研究も同時に実施しており、共同研究費用で、当初予定していた費用が対応できた。また、次年度は新たなデータ収集のための枠組みを構築予定である。
|
