• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実施状況報告書

報酬関数の外挿による非同一な動作主体間での模倣学習

研究課題

研究課題/領域番号 21K12078
研究機関名城大学

研究代表者

増山 岳人  名城大学, 理工学部, 准教授 (20707088)

研究期間 (年度) 2021-04-01 – 2024-03-31
キーワード強化学習 / 逆強化学習 / 外挿
研究実績の概要

本研究課題では,ロボットなどの身体をもつ学習主体を想定した,自身と異なる身体をもつ他者の動作の観測に基づく模倣学習手法の開発を目的としている.2022年度は,主に3つのアプローチについて検証,検討を行った.
1) 昨年度から開発してきた,教師なしスキル学習を利用した報酬関数外挿手法についての検証を行った.特に,スキルによる外挿性能への影響を検証したが,これに関しては現時点で有力な仮説の着想には至っていない.
2) 研究計画において実施を予定していた,学習主体の身体,環境,タスクの関係性をモデル化するグラフ表現学習手法の開発に着手した.今年度は,状態情報と,人からのフィードバックによる表現学習により新たな状態を学習し,それらを結合し制御則のモデルへの入力とすることで強化学習の学習効率が向上可能であることを確認した.
3) 関数の式自体を陽に推定する,シンボル回帰による関数学習器を用いた直接的な報酬関数のモデル化を試みた.データの背後にある法則性を学習することによって外挿を図るアプローチである.まず,関数学習器への入力として,性能のよいデモンストレーション軌道を用いて関数を学習したところ,デモンストレーションと同等の性能をもつ方策が学習可能であることを確認した.そこで,先行研究によって外挿された報酬関数から得られた軌道について,実験的に検証を行った.ここで,先行研究ではデモンストレーションではなく,非最適な軌道を教師データとした直接的な模倣学習により得られる方策を利用する.この場合に学習された報酬関数の外挿性能はタスクに依存し,1つのタスクでは元の方策と同程度,別のタスクでは外挿が成功するという結果となった.

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

研究実績の概要で述べた3つのアプローチを中心に,報酬関数の外挿による模倣学習の実現に向けて研究に取り組んできた.いずれの方法においても一定の成果が得られている一方で,現時点では外挿性能のタスク依存性が強く,十分な一般性をもったアルゴリズムの開発には至っていない.これは,実際にはタスクというよりも身体構造による実行可能な動作パターンの違いが強く影響している可能性もあると考えている.また,1)についての検証は進んでいるものの当初予定から遅れて進捗している.

今後の研究の推進方策

研究計画に大きな変更はないが,報酬関数の外挿が成立する条件についての解析は難航しているため,データ駆動形のアプローチに重きをおく方針で研究を進めていくことを検討している.

次年度使用額が生じた理由

当初購入を予定していたロボットなどが円安の影響で値上がりし,購入すると以降の研究遂行に支障を来す状況であった.研究の進捗から直ちに必要になるわけではなかったため,支出を抑えアルゴリズムの開発を優先し,価格高騰の落ち着きを待つことにした.しかし,現時点でも状況が改善していないため,2023度は代替のロボットの購入を検討する.

  • 研究成果

    (2件)

すべて 2022

すべて 学会発表 (2件)

  • [学会発表] 自己方策を用いた他者の意図推定に基づくマルチエージェント強化学習2022

    • 著者名/発表者名
      不破 雅泰,増山 岳人
    • 学会等名
      ロボティクス・メカトロニクス 講演会2022
  • [学会発表] 強化学習における状態と行動に関するData Augmentationの検討2022

    • 著者名/発表者名
      濱田ありさ,増山岳人
    • 学会等名
      第23回計測自動制御学会システムインテグレーション部門講演会

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi