• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2019 年度 実施状況報告書

プロトタイプ理論に基づく強化学習ロボットの知識選択における認知的経済性の向上

研究課題

研究課題/領域番号 19K12173
研究機関東京電機大学

研究代表者

鈴木 剛  東京電機大学, 工学部, 教授 (00349789)

研究分担者 藤井 浩光  千葉工業大学, 先進工学部, 准教授 (30781215)
温 文  東京大学, 大学院工学系研究科(工学部), 特任准教授 (50646601)
河野 仁  東京工芸大学, 工学部, 助教 (70758367)
研究期間 (年度) 2019-04-01 – 2022-03-31
キーワード転移学習 / 認知心理学モデル / プロトタイプ理論 / 機械学習 / 強化学習 / マルチエージェントロボットシステム / マルチロボット強化学習
研究実績の概要

本研究の最終目標は、「直感」や「勘」のような人間が無意識的に行う認知メカニズムをシステム化し、ロボットに実装することである。その要素技術として、環境に対して強化学習するロボットが適応的に振る舞うために、獲得済み知識を選択して再利用する際に、保存されている全知識を検索するのではなく、予め再利用する「知識群」の候補を選択する手法を確立する。そのために本研究課題では、1)プロトタイプ理論に基づき,知識群をカテゴリに分割する方法論の構築(認知心理学の知見の応用)、2)センサ入力情報等から特徴量とプロトタイプを抽出し、カテゴリを機械学習する手法の開発(工学と認知心理学の融合)、3)活性化拡散モデルに基づきカテゴリから知識群を選択し、複数方策を結合して再利用する手法と強化学習手法の統合(工学的システム開発)、を行う。具体的には、我々が提案する活性化拡散モデルに基づく方策ネットワーク内の方策群を、視覚入力等の環境観測情報から特徴量に基づきカテゴリとして分類し、仮想的なノードとしてカテゴリ内方策の傾向を表すプロトタイプを方策ネットワークに接続する。方策選択では、観測された環境特徴量からプロトタイプを選択し、接続された方策を一斉に活性化することで、方策選択における計算量を削減し、認知的経済性の実現を目指す。
本研究課題では、提案手法の評価を計算機シミュレーションと実機ロボットにより行う。タスクとして、複数の形状での最短経路問題(静的タスク)、マルチエージェントによる協調搬送作業(動的タスク)で検証する。2019年度は,検証用の小型実機ロボットとして、搬送作業用のフォークリフトによるハンドリング機構を持つ移動ロボットの設計を行った。また,プロトタイプ理論に基づく知識のカテゴリ化について、認知心理学の観点からモデル化の方針について議論した。活性化拡散モデルに基づく方策選択手法の改良を行った。

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

2019年度は、学習アルゴリズム実装用の実機ロボットの開発、および、プロトタイプ理論に基づく知識のカテゴリ化、活性化拡散モデルに基づく方策選択、複数方策の統合による方策の再利用について、これまでの研究成果に基づき実機ロボットに実装可能、かつ、認知的経済性を検証可能な基本モデルとして作成すること、また、いくつかの異なる環境における探索行動などの実機実行性を考慮したタスクを対象に、提案モデルを適用した学習シミュレーションを行い検証し、提案手法の課題を抽出することを目的とした。
これまでの成果である活性化拡散モデルによる強化学習の方策選択手法は,シーケンシャルに計算を行うアルゴリズムとして開発していた.今後の実装を考慮し,より本来のモデルに近い同時並列計算を用いた実装アルゴリズムの開発を行い,計算シミュレーションにより評価し有用性を確認した.また,実機ロボットの開発において、ハンドリング機構を持つロボットの設計および要素部品の選定と購入を行った.しかし、実機ロボットの製作が遅れており,複数台のロボットの完成に至っていない。また、関連して、複数方策の統合による方策の再利用方法、および、実機実装を考慮した、提案手法に基づく基本モデルの構築と検証が遅れている。

今後の研究の推進方策

実機ロボットの製作を至急進めるとともに、プロトタイプ理論に基づく、実機ロボットに実装可能,かつ,認知的経済性を検証可能な基本モデルを作成する.また、また活性化拡散モデルの改良に基づき、複数方策の統合による方策の再利用方法について検討する。さらに,検討したタスクを対象に,提案モデルを適用した学習シミュレーションを行い検証し,提案手法の課題を抽出する.

  • 研究成果

    (3件)

すべて 2020 2019

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (2件)

  • [雑誌論文] Activation and Spreading Sequence for Spreading Activation Policy Selection Method in Transfer Reinforcement Learning2019

    • 著者名/発表者名
      Hitoshi Kono, Ren Katayama, Yusaku Takakuwa, Wen Wen, Tsuyoshi Suzuki
    • 雑誌名

      International Journal of Advanced Computer Science and Applications

      巻: 10 ページ: pp.7 - 16

    • DOI

      10.14569/IJACSA.2019.0101202

    • 査読あり / オープンアクセス
  • [学会発表] 転移学習を用いた強化学習ロボットの方策選択における認知的経済性の検討2020

    • 著者名/発表者名
      坂本裕都,河野仁,温文,藤井浩光,鈴木剛
    • 学会等名
      日本機械学会ロボティクス・メカトロニクス講演会2020
  • [学会発表] 深層学習を用いた物体抽出と距離情報を用いた面検出によるプリミティブ形状の位置姿勢推定2020

    • 著者名/発表者名
      野口達矢, 藤井浩光
    • 学会等名
      日本機械学会ロボティクス・メカトロニクス講演会2020

URL: 

公開日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi