• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

汎用ロボットの動作生成ためのマルチモーダル深層学習モデル構築と料理タスクへの応用

研究課題

研究課題/領域番号 23K19965
研究種目

研究活動スタート支援

配分区分基金
審査区分 1001:情報科学、情報工学およびその関連分野
研究機関早稲田大学

研究代表者

斎藤 菜美子  早稲田大学, 次世代ロボット研究機構, 客員次席研究員(研究院客員講師) (40979697)

研究期間 (年度) 2023-08-31 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
2024年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2023年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
キーワードマニピュレーション / 料理ロボット / 深層学習
研究開始時の研究の概要

日常タスク支援をする汎用AIロボットの需要が高まっている。これまで操作対象物体の特徴を認識する研究や、対象に合わせて動作生成する研究はあったが、対象自体が連続的に変化していくものを扱ったものは無い。本研究では、マルチモーダル深層予測学習モデルによる、リアルタイムのロボット制御手法を提案する。スクランブルエッグの調理を取り上げ、熱硬化する卵液の状態に合わせてかき混ぜ動作を生成させる。この研究を応用することで、複雑な対象に合わせたロボットによる汎用日常タスクの実現を目指す。

研究実績の概要

本研究では、Attention機構を再帰型深層学習器に組み込んだ、マルチモーダル深層予測学習モデルによる、リアルタイムのロボット制御手法を提案する。注目すべきセンサ情報を重点的に記憶することで、効率的に対象を認識・必要な動作生成をすることを実現する。連続的に性質が変化する対象を扱うタスク例として、スクランブルエッグの調理を取り上げ、熱硬化する卵液の状態に合わせてかき混ぜ動作を生成させる。スクランブルエッグを作るには、一定の軌道でかき回すだけでは不十分であり、焦げや大きな塊ができないように、固まりつつある部分を素早く分離したり、鍋の底を擦りながらひっくり返したり等、複雑な動作が必要であるが、これを学習にて解決する。
今年度行った評価実験では、訓練時とは異なる外的・内的特徴を持つチーズや野菜を加えた卵液を用い、未学習の対象も扱えるか検証した。また、学習モデルのAttention機構を解析して、どのタイミングでどのセンサ情報に着目しているか解析した結果、鍋の中が見える時は視覚、徐々に固まっていく後半は力覚に注目が高まる、といった可読性の高い構造となることが確認された。ここまでの成果で論文の執筆を行い、現在ジャーナルに投稿中である。また、国際会議IEEE ICRAにて、リアルロボットのデモンストレーションとして本調理実験を行う予定である。
今後は学習モデルを応用し、複数のタスクを含んだロボットキッチンシステムを開発する。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

最初の目標である、熱により変化する対象を扱う、スクランブルエッグ調理の成果をまとめられ、現在ジャーナルの執筆を終え投稿中である。本提案手法を使って、安定的な動作生成を行えることから、国際会議でのリアルロボットデモンストレーションも行う予定であり、より本研究のインパクトと知名度を高めることが期待できる。
そして、現在次の目標である複数のタスクを含んだロボットのオートメーションキッチンシステムの開発に取り掛かっており、順調に進んでいると言える。

今後の研究の推進方策

5月13-17日に横浜で行われる国際会議IEEE ICRAにてリアルロボットによるスクランブルエッグ調理をデモンストレーションし、本研究を周知する。
またスクランブルエッグ調理のかき混ぜ動作に加え、野菜や果物の形状に合わせて道具を選択し、カッティングする動作や、野菜や肉や魚を焼く動作といった複数のタスクを含んだロボットのオートメーションキッチンシステムの開発を進める。

報告書

(1件)
  • 2023 実施状況報告書
  • 研究成果

    (2件)

すべて 2024 2023

すべて 雑誌論文 (2件) (うち国際共著 1件、 査読あり 2件)

  • [雑誌論文] Autonomous scanning motion generation adapted to individual differences in abdominal shape for robotic fetal ultrasound2024

    • 著者名/発表者名
      Saito Namiko、Yoshinaka Kiyoshi、Sugano Shigeki、Tsumura Ryosuke
    • 雑誌名

      Advanced Robotics

      巻: 38 号: 3 ページ: 182-191

    • DOI

      10.1080/01691864.2024.2315058

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] Structured Motion Generation with Predictive Learning: Proposing Subgoal for Long-Horizon Manipulation2023

    • 著者名/発表者名
      Saito Namiko、Moura Jo?o、Ogata Tetsuya、Aoyama Marina Y.、Murata Shingo、Sugano Shigeki、Vijayakumar Sethu
    • 雑誌名

      Proceedings of 2023 IEEE International Conference on Robotics and Automation (ICRA 2023)

      巻: 0 ページ: 9566-9572

    • DOI

      10.1109/icra48891.2023.10161046

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / 国際共著

URL: 

公開日: 2023-09-11   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi