• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Hierarchical Semantic Modeling of Environments

Research Project

Project/Area Number 22K17978
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 61050:Intelligent robotics-related
Research InstitutionNational Institute of Information and Communications Technology (2023)
Aoyama Gakuin University (2022)

Principal Investigator

Ito Seiya  国立研究開発法人情報通信研究機構, ユニバーサルコミュニケーション研究所先進的リアリティ技術総合研究室, 研究員 (30938709)

Project Period (FY) 2022-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Keywords3Dモデリング / 意味情報 / 概念階層 / 階層画像分類 / 深層学習 / 領域分割 / スーパーピクセル / 物体パーツ認識
Outline of Research at the Start

様々な社会問題を解決するための手段としてロボットへの期待が高まっており,ロボットは周辺環境の地図を構築し,その環境を幾何的・意味的に理解しながら,柔軟に行動することが求められる.本研究では,上位概念が下位概念を包含する概念階層に基づいて意味情報を処理することにより,状況に適した概念レベルの意味情報をもつ3次元環境地図を構築する,階層型セマンティックモデリングを実現する.また,環境地図は扱う意味情報の増加やシーンの大規模化に伴い肥大化するため,幾何情報と意味情報を圧縮し,コンパクトな環境地図を実現する.

Outline of Final Research Achievements

This study developed a foundational technology for robots to understand their surrounding environments geometrically and semantically, facilitating flexible decision making. The core of this technology is an image recognition algorithm based on conceptual hierarchies, which allows the construction of 3D environment maps that encompass various levels of semantic information. To evaluate the performance of semantic modeling, a new benchmark dataset was constructed, which combines real-world dynamic elements and static environments, enabling analysis in dynamic contexts. Furthermore, to address the issue of data bloat caused by increasing semantic information, this study developed a method for efficiently compressing both the geometric and semantic data of objects.

Academic Significance and Societal Importance of the Research Achievements

環境のセマンティックモデリングに関する研究はコンピュータビジョンやロボティクス分野で進められてきているが、意味推定には既存の画像認識技術を利用しており、その多くは認識対象とするクラスを同列に扱っている。本研究では、認識対象とするクラスに基づいて、抽象度の高いクラスから具体的なクラスまで、異なる概念レベルでの意味理解を可能にした。これにより、ロボットが複雑な環境や多様な概念を効率的に処理できるようになるため、学術的意義は大きいといえる。また、ロボットの複雑な環境に対する柔軟な理解および適応能力を向上させ、ロボットの実用化に貢献することが期待される。

Report

(3 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Research-status Report
  • Research Products

    (14 results)

All 2024 2023 2022 Other

All Presentation (13 results) (of which Int'l Joint Research: 6 results,  Invited: 1 results) Remarks (1 results)

  • [Presentation] A Benchmark for 3D Reconstruction with Semantic Completion in Dynamic Environments2024

    • Author(s)
      Qin-yuan Zhou, Seiya Ito, Kazuhiko Sumi
    • Organizer
      30th International Workshop on Frontiers of Computer Vision (IW-FCV 2024)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Speeding Up Semantic Scene Completion: A Completion by Region Proposal Approach2024

    • Author(s)
      Yusho Miyashita, Seiya Ito, Kazuhiko Sumi
    • Organizer
      30th International Workshop on Frontiers of Computer Vision (IW-FCV 2024)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Learning Part Primitive Degrees for Hierarchical 3D Object Partitioning2024

    • Author(s)
      Mami Kikuchi, Seiya Ito, Naoshi Kaneko, Kazuhiko Sumi
    • Organizer
      30th International Workshop on Frontiers of Computer Vision (IW-FCV 2024)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Tailoring Ranking-based Losses to Capture Superior-Subordinate Relationships for Hierarchical Image Classification2024

    • Author(s)
      Tomoaki Yamazaki, Seiya Ito, Kouzou Ohara
    • Organizer
      30th International Workshop on Frontiers of Computer Vision (IW-FCV 2024)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Part-Level Single-View 3D Shape Reconstruction with Multiple Types of Primitives2023

    • Author(s)
      Mami Kikuchi, Seiya Ito, Naoshi Kaneko, Kazuhiko Sumi
    • Organizer
      Sixteenth International Conference on Quality Control by Artificial Vision (QCAV 2023)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 概念辞書から自動構築した概念階層に基づく画像分類2023

    • Author(s)
      山崎 禎晃, 伊東 聖矢, 大原 剛三
    • Organizer
      第29回画像センシングシンポジウム(SSII2023)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 画像を用いた環境のセマンティックモデリング2023

    • Author(s)
      伊東 聖矢
    • Organizer
      精密工学会 画像応用技術専門委員会 サマーセミナー2023
    • Related Report
      2023 Annual Research Report
    • Invited
  • [Presentation] 動物体がSemantic Scene Completionに与える影響の定量化手法の検討2023

    • Author(s)
      周 沁園, 伊東 聖矢, 鷲見 和彦
    • Organizer
      精密工学会 画像応用技術専門委員会 サマーセミナー2023
    • Related Report
      2023 Annual Research Report
  • [Presentation] 3D Movie Mapの作成・編集システムの提案と実装2023

    • Author(s)
      村田 祐規, 伊東 聖矢, 金子 直史, 鷲見 和彦
    • Organizer
      精密工学会 画像応用技術専門委員会 サマーセミナー2023
    • Related Report
      2023 Annual Research Report
  • [Presentation] Hierarchical Image Classification with Conceptual Hierarchies Generated via Lexical Databases2023

    • Author(s)
      Tomoaki Yamazaki, Seiya Ito, Kouzou Ohara
    • Organizer
      29th International Workshop on Frontiers of Computer Vision (IW-FCV 2023)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 自己教師あり学習によるRGB画像と短距離深度からの長距離深度補完2022

    • Author(s)
      伊東聖矢, 金子直史, 鷲見和彦
    • Organizer
      第25回画像の認識・理解シンポジウム (MIRU2022)
    • Related Report
      2022 Research-status Report
  • [Presentation] 複数種類のプリミティブによるパーツレベルの単視点3次元形状再構成2022

    • Author(s)
      菊地真美, 伊東聖矢, 金子直史, 鷲見和彦
    • Organizer
      第21回情報科学技術フォーラム (FIT2022)
    • Related Report
      2022 Research-status Report
  • [Presentation] スーパーピクセルに基づくZero-Shot意味的領域分割の検討2022

    • Author(s)
      伊東聖矢
    • Organizer
      ビジョン技術の実利用ワークショップ(ViEW2022)
    • Related Report
      2022 Research-status Report
  • [Remarks] Dyna3DBench

    • URL

      https://github.com/zhouqinyuanrunner/Dyna3DBench

    • Related Report
      2023 Annual Research Report

URL: 

Published: 2022-04-19   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi