Real-world parallel learning using easily duplicapable small robots to transfer the learning result to large-size robot

2021 Fiscal Year Research-status Report

• Project/Area Number: 19K14938
• Research Institution: National Agriculture and Food Research Organization
• Principal Investigator: 野田 晋太朗 国立研究開発法人農業・食品産業技術総合研究機構, 農業ロボティクス研究センター, 研究員 (30825104)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: 歩行ロボット / 強化学習

Outline of Annual Research Achievements

本研究はロボットが現実世界で学習するシステム構築を目的とし、小型ロボットの並列学習について研究を行うものである。２０２１年度の計画は圃場での学習が可能なロボットの作成と、学習用のシミュレーション環境の準備および学習ソフトウェアの実装・学習実験であった。２０２１年度の成果は以下の三つの方向性にまとめることができる。
（１）四足歩行ロボットの開発と歩行制御：本研究はロボットの学習システムに関するものであり、学習実験の対象は限定しないものであった。昨年度の研究代表者の農研機構への転職に伴い実験内容を圃場での歩行に定め、それが可能な四足歩行ロボットを新たに準備した。昨年度までに開発したスマートフォン上でのサーボモータ制御ソフトと通信基板を用いた胴体部分を設計し３Dプリンタを用いて作成した。脚は市販キット型のものを用いた。単純な歩行制御として対角線上の脚を交互に持ち上げる動きで平地での歩行ができることを確認した。
（２）四足歩行ロボットのシミュレーション環境実装：上述の四足歩行ロボットを用いた動力学シミュレータを準備した。動力学エンジンは研究代表者が実装したものを用い、平地での四足歩行ロボットのシミュレーションが５０kHz以上、実時間の５０倍以上の速度で行うことができ高速な学習の準備が整った。
（３）並列強化学習ソフトウェアの実装：オープンソースの強化学習フレームワークである TensorFlow agent を用い、上述のシミュレーション上で強化学習の動作確認を行った。学習の並列化についても実装を進め動作確認まで行った。
今後は四足歩行ロボットの学習について、まずはシミュレーション上で動作を確認したのち実ロボットでの学習に取り組む予定である。シミュレーションでの学習は強化学習だけでなく。研究代表者の以前の研究である進化計算を用いたもの、モデルベースの手法も試し比較と学習の初期値に用いる。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究はロボットが現実世界で学習するシステムに関するものであり、２０２１年度までに学習システムに必要な（１）ロボットのハードウェア（２）通信制御ソフトウェア（３）学習ソフトウェアを一通り完成させることができ、２０２２年度の学習実験を行う準備が整ったため順調に進展していると考えている。
（１）ロボットのハードウェア：モータと通信基板からなるロボット本体のハードウェアの準備を２０１９年度から一貫して進めている。これまでに首型、人型、四足歩行の三種類のロボットを市販のサーボモータと３Dプリンタで作成し、後述のソフトウェアで統一して扱えるようなっている。またロボットの頭脳としてスマートフォンを用いているためスマートフォンからサーボモータを制御するための通信基板についても設計、製作、動作確認を行っている。
（２）通信制御ソフトウェア：ロボットに搭載されたスマートフォン上で動作するソフトウェアの開発を２０１９年度から進めている。加速度センサやカメラといったセンサ情報の取得と、外部の学習コンピュータと通信するためのインターフェース機能、学習結果を利用するためのニューラルネットワークの計算、サーボモータとの通信を行うソフトウェアが完成し動作確認まで完了した。外部の学習用コンピュータからセンサ情報の読み出しとサーボの制御を確認した。
（３）学習ソフトウェア：外部コンピュータ上で動作する学習ソフトウェア環境の準備を２０２１年度に行った。学習ソフトウェアの動作確認と学習結果の初期値、比較対象として進化計算等の最適化手法が使えるよう動力学シミュレーションの準備を行うとともに、シミュレーション上で強化学習ソフトウェアの動作確認を行った。学習は並列化可能となるよう実装した。シミュレーション上で簡単な四足歩行制御を検討し、同じ制御方法で実際のロボットを用いて平地での歩行が可能であることを確認した。

Strategy for Future Research Activity

２０２２年度の計画は以下の三つの段階で進めていく。
（１）シミュレーションを用いた歩行学習実験：２０２１年度に準備した動力学シミュレータと、その上で動作する並列学習ソフトウェアの検証を行う。２０２１年度は動作確認まで終了しており、今後は平地の歩行動作を題材に実際に学習実験を行う。また強化学習のみでなく、人間の判断によってパラメタ化された歩行のモデルを用いる手法や、進化計算といった最適化手法を用いた歩行制御も行い、強化学習による方法との比較を行うとともに、歩行のモデルを用いた学習も検討する。平地での学習が成功したのちシミュレーション上に地面の凹凸や傾斜を含めた条件での学習も行う。様々な環境での学習により転倒しにくいロバストな制御系が得られるかを確認する。
（２）実世界での歩行学習実験：上述のシミュレーション学習を実世界で行う。まずはシミュレーションと同じ平地の環境で動作確認を行ったのち、平地ではなく草地、斜面や圃場のような柔らかい地面にも学習器を適用し、平地に限らず歩行できる制御系の学習を行う。また自動で学習させるためには、ロボットが転倒するといった異常状態に陥った際に正常状態に復帰する行動も必要と予想される。その場合は転倒復帰動作の学習など実験内容を変えて進めていく。またロボットの故障も予想されるため修理と改良ができるようモータの予備や３Dプリンタのフィラメントの用意なども進めておく。
（３）学習結果の別ロボットへの転写手法の研究：上述の学習結果を別のロボットに適用する転写技術について研究を行う。シミュレーションでの研究を計画しているが、予算内で別のロボットが用意できるかも検討し、用意できた場合は、実際のロボットへの転写を研究する。

Causes of Carryover

学会発表を行っていないため旅費分が余っている。論文投稿等、成果の発表に用いる。