Digital Twin Construction Method based on Data Driven Real-World Modeling

• Project/Area Number: 22K18422
• Research Category: Grant-in-Aid for Challenging Research (Pioneering)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 62:Applied informatics and related fields
• Research Institution: Nagoya University
• Principal Investigator: 河口 信夫 名古屋大学, 工学研究科, 教授 (10273286)
• Project Period (FY): 2022-06-30 – 2026-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥25,870,000 (Direct Cost: ¥19,900,000、Indirect Cost: ¥5,970,000); Fiscal Year 2025: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000); Fiscal Year 2024: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000); Fiscal Year 2023: ¥7,280,000 (Direct Cost: ¥5,600,000、Indirect Cost: ¥1,680,000); Fiscal Year 2022: ¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
• Keywords: データ駆動 / デジタルツイン / 実世界モデリング / 深層学習 / 状態遷移モデル

Outline of Research at the Start

多様なセンシング技術による実世界のデータ化が可能になりつつあるが「価値を生み出す施策」の実現は容易ではない。多様な施策を検証するには、マルチエージェントシミュレーションの活用が望まれるがモデル構築が高コストとなる。本研究では、データ駆動により、深層学習を用いて実世界モデリングを行い、状態遷移モデルに縮退して、多様な施策を試行可能なデジタルツインを構築する手法を実現する。深層モデルは説明性が低いため、説明可能性とチューニング性を獲得するために、状態遷移モデルを導入する。さらに、深層モデルから状態遷移モデルへの縮退により、高度で説明可能なシミュレーションの実現を目指す。

Outline of Annual Research Achievements

多様なセンシング技術による実世界のデータ化が可能になりつつあるが、単なる画像やセンシング値からは「価値を生み出す施策」の実現は容易ではない。実環境に有用な施策を検証するには、作業者や対象物をオブジェクトやエージェントとしてとらえ、マルチエージェントシミュレーションとして実現することが望まれるがモデル構築のコストが高いことが課題である。
本研究では、データ駆動に基づいて実世界モデリングを行う手法を検討している。そのためには、まず、実世界データを大規模に取得する必要がある。2年目である今年は、物流倉庫カメラ基盤を通じて得られた400Tbyteを超える実世界データを用い、より高度な分析・認識処理の研究開発を進めた。倉庫には、多種多様な荷物が登場するため、従来型の、個別のラベルを人手で付与する方法では、多数のオブジェクトへの対応が容易ではない。そこで、オプティカルフローを用いて移動物体を抽出した後に、その物体を特徴量に応じてクラスタリングし、効率的にモデル化を行う手法を提案した。結果として、10時間かかっていたラベリングが30分以内で実現可能となり、96％以上の時間的コスト削減を実現した。この手法は、難関国際学会PerCom2024(採択率14％)で採択され、国際的にも高く評価されている。
上記のラベリングのためのクラスタリング手法では、動的物体しかクラスタリングができなかった。一方、倉庫内では、活用したい静的物体も多数あるため、両方を認識する手法が重要となる。また、多数のカメラ映像を集めて処理するのではなく、カメラ毎に処理するエッジAIの導入についても検討を行った。結果として、エッジAI向けのモデルを用いてセグメンテーションを行い、エネルギー効率・ネットワーク効率を高め、カメラ毎個別モデルを構築する手法が実現できた。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

現場でのカメラ基盤を通じたデータ収集の枠組みは順調に進捗しているが、データ量が400テラバイトを超えており、情報処理の規模が大きくなっている。大規模な情報処理に対応するため、エッジAIカメラの活用を進めており、新しい成果を得ることができた。これらの結果を用いて、実世界モデル構築の準備を進めている。
このように、順調に研究は進捗している。

Strategy for Future Research Activity

実世界データに基づき、デジタルツインを構築するためには、①実世界データ収集、②オブジェクト同定、③空間制約推定、④相互作用推定、⑤実世界モデリング、⑥状態遷移モデルへの縮退、⑦状態遷移モデルによるシミュレーション、に関する研究を実施する必要がある。
初年度からこれまでは、①②の実施を中心として進めており、3年次以後は③～⑦の研究開発を推進する予定である。以下では、③～⑥について説明する。
③ 空間制約推定：②で同定された車両やロボット・人・荷物といったオブジェクトに対し、その空間的制約を推定・追加する機能を構築する。具体的には、道路や壁、ドア、エレベータなどの制約条件を提供する。
④ 相互作用推定：搭乗や接触、運搬といったオブジェクト間の相互作用を推定し、その情報を深層学習に提供する。ドメイン毎にある程度は事前知識として提供可能であるが、細かな相互作用についてはデータに基づく推定を行う。
⑤ 深層学習による実世界モデリング：CNN／LSTMなどを用いて特徴量推定と時系列モデル推定を行う。入力としては、初期段階ではオブジェクト毎の位置・空間制約・相互作用を想定しており、出力としてはオブジェクトの位置や方向・速度を想定している。
⑥ 深層学習モデルから状態遷移モデルへの縮退変換：CNN/LSTMモデルは、表現力が高いため、異なるオブジェクトも同一のモデルで表現できる場合がある。一方、本研究で想定する状態遷移モデルは、異なるオブジェクトは異なる状態遷移表を持つこととする。また、オブジェクト種別毎に必要な状態数や、パラメータ範囲など、状態遷移モデルを推定する枠組みも構築する。さらに、特別な例外など、学習データからは状態遷移上で存在しない状態系列なども追加できる仕組みを導入して、シミュレーションでの利用を汎化する。

Research Products

• [Journal Article] 物流倉庫における人・配送ロボット協調のためのセンサ統合システム (2022)
  • Author(s): 浅井悠佑, 青木俊介, 米澤拓郎, 河口信夫
  • Journal Title: 情報処理学会 研究報告 (MBL) Volume: 2022-MBL-104 Pages: 1-8
• [Journal Article] 大規模移動履歴に基づく滞在推定結果を用いた公園の滞在特徴の分類手法 (2022)
  • Author(s): 坂倉 波輝, 田村 直樹, 永田 吉輝, 庄子 和之, 浦野 健太, 米澤 拓郎, 河口 信夫
  • Journal Title: 情報処理学会 研究報告 (MBL) Volume: 2022-MBL-104 Pages: 1-6
• [Presentation] Semi-Automated Framework for Digitalizing Multi-Product Warehouses with Large Scale Camera Arrays (2024)
  • Author(s): Keisuke Higashiura, Kodai Yokoyama, Yusuke Asai, Hironori Shimosato, Kazuma Kano, Shin Katayama, Kenta Urano, Takuro Yonezawa, Nobuo Kawaguchi
  • Organizer: The 22nd IEEE International Conference on Pervasive Computing and Communications (PerCom 2024)
  • Int'l Joint Research
• [Presentation] LiDARの視野を考慮した能動的な人流計測手法の検討 (2023)
  • Author(s): 下里 浩昇，片山 晋，浦野 健太，米澤 拓郎，河口 信夫
  • Organizer: 第51回可視化情報シンポジウム