• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

ロボットの実世界インタラクションによる動的な三次元計測・三次元モデル生成

研究課題

研究課題/領域番号 21K14130
研究種目

若手研究

配分区分基金
審査区分 小区分20020:ロボティクスおよび知能機械システム関連
研究機関東北大学 (2023)
早稲田大学 (2021-2022)

研究代表者

千葉 直也  東北大学, 情報科学研究科, 助教 (70890185)

研究期間 (年度) 2021-04-01 – 2026-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2025年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2024年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2023年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2022年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2021年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
キーワードImplicit Function / 点群深層学習 / 三次元データ処理 / ハンドリング / 三次元計測
研究開始時の研究の概要

本研究は動的な三次元計測・三次元データ処理の統合による三次元認識手法の開発を目指す.二次元画像で深層学習が大きな成功を収めたように,三次元データを用いるアプリケーションにおいても深層学習の適用が期待されており,ここ数年のうちに数多くの手法が発表されている.本研究提案は三次元データを実ロボットで活用する上で課題となる,三次元センサで生じる隠れ・インスタンス識別の困難さに対して,不確かさと複数物体を考慮した深層Implicit Functionと動的な計測・操作によって解決を試みるものである.

研究実績の概要

本研究は物体のハンドリングに必要なシーン理解と,シーン理解のために必要な観測・動作計画に取り組むものである.今年度はImplicit Functionによるシーン記述として,物体の力学的パラメータと紐づけた形式で生成モデルとなるようにDeepSDFを拡張し,表面モデルによるシーン記述の方法に関する知見を深めた.特に空間解像度の高い形状に対するPositional Encodingの応用,リプシッツ正則化の導入による滑らかな形状補間の実現を試みた.この研究内容は大規模な合成データに対して物理特性と形状の対応関係を学習する研究に派生し,論文を現在投稿中である.
また,観測からの不確実性マップの推定については,NeRFにランダムな潜在ベクトルを導入するというアプローチでモデル化を行っている.この成果は国内学会で発表済みである.
また,ロボットの軌道生成において環境理解を行うための手法として,自発的なインタラクションを目指しており,ロボットの軌道から環境の状態を予測するタスクについての研究を進め,論文を投稿した.
加えて剛体変換に限らない形状のハンドリングについて,点群の被剛体位置合わせにも取り組んでいる.シーン間でのマッチングを行うことで物体の形状変形を推定することができることを示しており,また,マッチングに関する教師なしでの学習できることを検証した.このアプリケーションの実現ために点群の対応に関する二部グラフ自体を入力として学習するための枠組みを提案しており,この成果についても論文投稿中である.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

シーン記述に関する方法と再構成手法については概ね完了しており,派生した研究テーマとして三次元形状記述や生成に関する応用に優先的に取り組んで一定の成果を得ることができている.また,NeRFをベースにした不確実性のモデリングには着手し一定の結果を得たが,この不確実性を用いて動作生成する部分についてはやや遅れている.

今後の研究の推進方策

不確実性に関するモデル化を進め,空間的に不確実性を配置・未知部分を想定したハンドリングを行う戦略の設定を優先的に進める.二次元上での不確実マップの生成まではある程度実現しているため,例えばSegment Anything in 3D with NeRFsのようなアプローチでセマンティクスと紐づけつつ3Dに転写することを目指す.

報告書

(3件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 研究成果

    (23件)

すべて 2024 2023 2022

すべて 雑誌論文 (7件) (うち査読あり 5件、 オープンアクセス 6件) 学会発表 (13件) (うち国際学会 1件、 招待講演 2件) 図書 (3件)

  • [雑誌論文] Neural Structure Fields with Application to Crystal Structure Autoencoders2023

    • 著者名/発表者名
      Naoya Chiba,Yuta Suzuki,Tatsunori Taniai,Ryo Igarashi,Yoshitaka Ushiku,Kotaro Saito,Kanta Ono
    • 雑誌名

      Communications Materials

      巻: 4 号: 1 ページ: 1-1

    • DOI

      10.1038/s43246-023-00432-w

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Multi-Timestep-Ahead Prediction with Mixture of Experts for Embodied Question Answering2023

    • 著者名/発表者名
      Kanata Suzuki,Yuya Kamiwano,Naoya Chiba,Hiroki Mori,Tetsuya Ogata
    • 雑誌名

      Proceedings of 32nd International Conference on Artificial Neural Networks

      巻: - ページ: 243-255

    • DOI

      10.1007/978-3-031-44223-0_20

    • ISBN
      9783031442223, 9783031442230
    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Reference-based Dense Pose Estimation via Partial 3D Point Cloud Matching2023

    • 著者名/発表者名
      Rintaro Yanagi, Atsushi Hashimoto, Naoya Chiba, Yoshitaka Ushiku
    • 雑誌名

      Proceedings of 31st ACM International Conference on Multimedia

      巻: - ページ: 9411-9413

    • DOI

      10.1145/3581783.3612679

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A Transformer Model for Symbolic Regression towards Scientific Discovery.2023

    • 著者名/発表者名
      Florian Lalande, Yoshitomo Matsubara, Naoya Chiba, Tatsunori Taniai, Ryo Igarashi, Yoshitaka Ushiku
    • 雑誌名

      Proceedings of 2023 Conference on Neural Information Processing Systems Workshop: AI4Science

      巻: -

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] WeaveNet for Approximating Two-sided Matching Problems.2023

    • 著者名/発表者名
      Shusaku Sone, Jiaxin Ma, Atsushi Hashimoto, Naoya Chiba, Yoshitaka Ushiku
    • 雑誌名

      arXiv

      巻: -

    • 関連する報告書
      2023 実施状況報告書
    • オープンアクセス
  • [雑誌論文] NeuralLabeling: A versatile toolset for labeling vision datasets using Neural Radiance Fields.2023

    • 著者名/発表者名
      Floris Erich, Naoya Chiba, Yusuke Yoshiyasu, Noriaki Ando, Ryo Hanai, Yukiyasu Domae
    • 雑誌名

      arXiv

      巻: -

    • 関連する報告書
      2023 実施状況報告書
    • オープンアクセス
  • [雑誌論文] Generating long-horizon task actions by leveraging predictions of environmental states2023

    • 著者名/発表者名
      Hiroto Iino, Kei Kase, Ryoichi Nakajo, Naoya Chiba, Hiroki Mori, Tetsuya Ogata
    • 雑誌名

      The 2024 16th IEEE/SICE International Symposium on System Integration

      巻: -

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [学会発表] Generating long-horizon task actions by leveraging predictions of environmental states2024

    • 著者名/発表者名
      Hiroto Iino, Kei Kase, Ryoichi Nakajo, Naoya Chiba, Hiroki Mori, Tetsuya Ogata
    • 学会等名
      IEEE/SICE International Symposium on System Integration
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] GANsの潜在空間を用いた多自由度ロボット最適軌道計画の高速化のための最適化アルゴリズムの比較2023

    • 著者名/発表者名
      飯野寛人,千葉直也,森裕紀,尾形哲也
    • 学会等名
      ロボティクス・メカトロニクス講演会 (ROBOMECH) 2023
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 混合エキスパートによる複数先視野予測モジュールを用いたEmbodied Question Answeringタスクの学習2023

    • 著者名/発表者名
      上和野雄也,鈴木彼方,千葉直也,森裕紀,尾形哲也
    • 学会等名
      ロボティクス・メカトロニクス講演会 (ROBOMECH) 2023
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Fast Learning of Reciprocally Constrained Fields for Density and Distance2023

    • 著者名/発表者名
      Itsuki Ueda, Naoya Chiba, Hirokatsu Kataoka, Hiroaki Aizawa, Itaru Kitahara
    • 学会等名
      画像の認識・理解シンポジウム (MIRU) 2023
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 特徴折込みモデルを導入した三次元点群マッチングに基づく密な姿勢推定システム2023

    • 著者名/発表者名
      柳凜太郎,橋本敦史,千葉直也,牛久祥孝
    • 学会等名
      画像の認識・理解シンポジウム (MIRU) 2023
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] カメラパラメータの誤差を考慮したマニピュレータの動作計画2023

    • 著者名/発表者名
      柴山千冬,鏡慎吾,千葉直也,橋本浩一
    • 学会等名
      第41回日本ロボット学会学術講演会 (RSJ) 2023
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] SenLane: a road lane instance segmentation dataset captured during snowy conditions2023

    • 著者名/発表者名
      Wenbin Wang, Naoya Chiba, Haichuan Yang, Koichi Hashimoto
    • 学会等名
      第41回日本ロボット学会学術講演会 (RSJ) 2023
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 3D シーン認識のための NeRF による不確実性の評価2023

    • 著者名/発表者名
      伊藤大介,千葉直也,加瀬敬唯,中條亨一,森裕紀,尾形哲也
    • 学会等名
      第24回計測自動制御学会システムインテグレーション部門講演会 (SICE SI) 2023
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 3D Data Processing with Deep Learning2023

    • 著者名/発表者名
      Naoya Chiba
    • 学会等名
      HeKKSaGOn AI Symposium
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] 3Dデータを扱うニューラルネットワークの紹介2023

    • 著者名/発表者名
      千葉直也
    • 学会等名
      第1回3次元医療AI研究会
    • 関連する報告書
      2023 実施状況報告書
    • 招待講演
  • [学会発表] Multi-Timestep-Ahead Prediction with Mixture of Experts for Embodied Question Answering2023

    • 著者名/発表者名
      Kanata Suzuki,Yuya Kamiwano,Naoya Chiba,Hiroki Mori,Tetsuya Ogata
    • 学会等名
      International Conference on Artificial Neural Networks
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Reference-based Dense Pose Estimation via Partial 3D Point Cloud Matching2023

    • 著者名/発表者名
      Rintaro Yanagi, Atsushi Hashimoto, Naoya Chiba, Yoshitaka Ushiku
    • 学会等名
      ACM International Conference on Multimedia
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] A Transformer Model for Symbolic Regression towards Scientific Discovery.2023

    • 著者名/発表者名
      Florian Lalande, Yoshitomo Matsubara, Naoya Chiba, Tatsunori Taniai, Ryo Igarashi, Yoshitaka Ushiku
    • 学会等名
      Conference on Neural Information Processing Systems Workshop: AI4Science
    • 関連する報告書
      2023 実施状況報告書
  • [図書] CVIMチュートリアル 2: 点群深層学習/ニューラル3次元復元/深層照度差ステレオ法/AutoML2024

    • 著者名/発表者名
      千葉 直也, 齋藤 隼介, 山藤 浩明, 菅沼 雅徳
    • 総ページ数
      224
    • 出版者
      共立出版
    • 関連する報告書
      2023 実施状況報告書
  • [図書] 詳解 3次元点群処理 Pythonによる基礎アルゴリズムの実装2022

    • 著者名/発表者名
      金崎 朝子、秋月 秀一、千葉 直也
    • 総ページ数
      192
    • 出版者
      講談社
    • ISBN
      9784065293430
    • 関連する報告書
      2022 実施状況報告書
  • [図書] コンピュータビジョン最前線 Winter 20222022

    • 著者名/発表者名
      井尻 善久、牛久 祥孝、片岡 裕雄、藤吉 弘亘
    • 総ページ数
      150
    • 出版者
      共立出版
    • ISBN
      9784320125469
    • 関連する報告書
      2022 実施状況報告書

URL: 

公開日: 2021-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi