汎用ロボットの動作生成ためのマルチモーダル深層学習モデル構築と料理タスクへの応用

Research Project

Project/Area Number	23K19965
Research Category	Grant-in-Aid for Research Activity Start-up
Allocation Type	Multi-year Fund
Review Section	1001:Information science, computer engineering, and related fields
Research Institution	Waseda University
Principal Investigator	斎藤菜美子早稲田大学, 次世代ロボット研究機構, 客員次席研究員(研究院客員講師) (40979697)
Project Period (FY)	2023-08-31 – 2025-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000) Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000) Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords	マニピュレーション / 料理ロボット / 深層学習
Outline of Research at the Start	日常タスク支援をする汎用AIロボットの需要が高まっている。これまで操作対象物体の特徴を認識する研究や、対象に合わせて動作生成する研究はあったが、対象自体が連続的に変化していくものを扱ったものは無い。本研究では、マルチモーダル深層予測学習モデルによる、リアルタイムのロボット制御手法を提案する。スクランブルエッグの調理を取り上げ、熱硬化する卵液の状態に合わせてかき混ぜ動作を生成させる。この研究を応用することで、複雑な対象に合わせたロボットによる汎用日常タスクの実現を目指す。
Outline of Annual Research Achievements	本研究では、Attention機構を再帰型深層学習器に組み込んだ、マルチモーダル深層予測学習モデルによる、リアルタイムのロボット制御手法を提案する。注目すべきセンサ情報を重点的に記憶することで、効率的に対象を認識・必要な動作生成をすることを実現する。連続的に性質が変化する対象を扱うタスク例として、スクランブルエッグの調理を取り上げ、熱硬化する卵液の状態に合わせてかき混ぜ動作を生成させる。スクランブルエッグを作るには、一定の軌道でかき回すだけでは不十分であり、焦げや大きな塊ができないように、固まりつつある部分を素早く分離したり、鍋の底を擦りながらひっくり返したり等、複雑な動作が必要であるが、これを学習にて解決する。今年度行った評価実験では、訓練時とは異なる外的・内的特徴を持つチーズや野菜を加えた卵液を用い、未学習の対象も扱えるか検証した。また、学習モデルのAttention機構を解析して、どのタイミングでどのセンサ情報に着目しているか解析した結果、鍋の中が見える時は視覚、徐々に固まっていく後半は力覚に注目が高まる、といった可読性の高い構造となることが確認された。ここまでの成果で論文の執筆を行い、現在ジャーナルに投稿中である。また、国際会議IEEE ICRAにて、リアルロボットのデモンストレーションとして本調理実験を行う予定である。今後は学習モデルを応用し、複数のタスクを含んだロボットキッチンシステムを開発する。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 最初の目標である、熱により変化する対象を扱う、スクランブルエッグ調理の成果をまとめられ、現在ジャーナルの執筆を終え投稿中である。本提案手法を使って、安定的な動作生成を行えることから、国際会議でのリアルロボットデモンストレーションも行う予定であり、より本研究のインパクトと知名度を高めることが期待できる。そして、現在次の目標である複数のタスクを含んだロボットのオートメーションキッチンシステムの開発に取り掛かっており、順調に進んでいると言える。
Strategy for Future Research Activity	5月13-17日に横浜で行われる国際会議IEEE ICRAにてリアルロボットによるスクランブルエッグ調理をデモンストレーションし、本研究を周知する。またスクランブルエッグ調理のかき混ぜ動作に加え、野菜や果物の形状に合わせて道具を選択し、カッティングする動作や、野菜や肉や魚を焼く動作といった複数のタスクを含んだロボットのオートメーションキッチンシステムの開発を進める。