Hierarchical Semantic Modeling of Environments

2023 Fiscal Year Final Research Report

• Project/Area Number: 22K17978
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61050:Intelligent robotics-related
• Research Institution: National Institute of Information and Communications Technology (2023); Aoyama Gakuin University (2022)
• Principal Investigator: Ito Seiya 国立研究開発法人情報通信研究機構, ユニバーサルコミュニケーション研究所先進的リアリティ技術総合研究室, 研究員 (30938709)
• Project Period (FY): 2022-04-01 – 2024-03-31
• Keywords: 3Dモデリング / 意味情報 / 概念階層

Outline of Final Research Achievements

This study developed a foundational technology for robots to understand their surrounding environments geometrically and semantically, facilitating flexible decision making. The core of this technology is an image recognition algorithm based on conceptual hierarchies, which allows the construction of 3D environment maps that encompass various levels of semantic information. To evaluate the performance of semantic modeling, a new benchmark dataset was constructed, which combines real-world dynamic elements and static environments, enabling analysis in dynamic contexts. Furthermore, to address the issue of data bloat caused by increasing semantic information, this study developed a method for efficiently compressing both the geometric and semantic data of objects.

Free Research Field

コンピュータビジョン

Academic Significance and Societal Importance of the Research Achievements

環境のセマンティックモデリングに関する研究はコンピュータビジョンやロボティクス分野で進められてきているが、意味推定には既存の画像認識技術を利用しており、その多くは認識対象とするクラスを同列に扱っている。本研究では、認識対象とするクラスに基づいて、抽象度の高いクラスから具体的なクラスまで、異なる概念レベルでの意味理解を可能にした。これにより、ロボットが複雑な環境や多様な概念を効率的に処理できるようになるため、学術的意義は大きいといえる。また、ロボットの複雑な環境に対する柔軟な理解および適応能力を向上させ、ロボットの実用化に貢献することが期待される。