2019 Fiscal Year Research-status Report
プロトタイプ理論に基づく強化学習ロボットの知識選択における認知的経済性の向上
| Project/Area Number |
19K12173
|
|---|
| Research Institution | Tokyo Denki University |
|---|
Principal Investigator |
鈴木 剛 東京電機大学, 工学部, 教授 (00349789)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
藤井 浩光 千葉工業大学, 先進工学部, 准教授 (30781215)
温 文 東京大学, 大学院工学系研究科(工学部), 特任准教授 (50646601)
河野 仁 東京工芸大学, 工学部, 助教 (70758367)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 転移学習 / 認知心理学モデル / プロトタイプ理論 / 機械学習 / 強化学習 / マルチエージェントロボットシステム / マルチロボット強化学習 |
|---|
| Outline of Annual Research Achievements |
本研究の最終目標は、「直感」や「勘」のような人間が無意識的に行う認知メカニズムをシステム化し、ロボットに実装することである。その要素技術として、環境に対して強化学習するロボットが適応的に振る舞うために、獲得済み知識を選択して再利用する際に、保存されている全知識を検索するのではなく、予め再利用する「知識群」の候補を選択する手法を確立する。そのために本研究課題では、1)プロトタイプ理論に基づき，知識群をカテゴリに分割する方法論の構築（認知心理学の知見の応用）、2)センサ入力情報等から特徴量とプロトタイプを抽出し、カテゴリを機械学習する手法の開発（工学と認知心理学の融合）、3)活性化拡散モデルに基づきカテゴリから知識群を選択し、複数方策を結合して再利用する手法と強化学習手法の統合（工学的システム開発）、を行う。具体的には、我々が提案する活性化拡散モデルに基づく方策ネットワーク内の方策群を、視覚入力等の環境観測情報から特徴量に基づきカテゴリとして分類し、仮想的なノードとしてカテゴリ内方策の傾向を表すプロトタイプを方策ネットワークに接続する。方策選択では、観測された環境特徴量からプロトタイプを選択し、接続された方策を一斉に活性化することで、方策選択における計算量を削減し、認知的経済性の実現を目指す。
本研究課題では、提案手法の評価を計算機シミュレーションと実機ロボットにより行う。タスクとして、複数の形状での最短経路問題（静的タスク）、マルチエージェントによる協調搬送作業（動的タスク）で検証する。2019年度は，検証用の小型実機ロボットとして、搬送作業用のフォークリフトによるハンドリング機構を持つ移動ロボットの設計を行った。また，プロトタイプ理論に基づく知識のカテゴリ化について、認知心理学の観点からモデル化の方針について議論した。活性化拡散モデルに基づく方策選択手法の改良を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
2019年度は、学習アルゴリズム実装用の実機ロボットの開発、および、プロトタイプ理論に基づく知識のカテゴリ化、活性化拡散モデルに基づく方策選択、複数方策の統合による方策の再利用について、これまでの研究成果に基づき実機ロボットに実装可能、かつ、認知的経済性を検証可能な基本モデルとして作成すること、また、いくつかの異なる環境における探索行動などの実機実行性を考慮したタスクを対象に、提案モデルを適用した学習シミュレーションを行い検証し、提案手法の課題を抽出することを目的とした。
これまでの成果である活性化拡散モデルによる強化学習の方策選択手法は，シーケンシャルに計算を行うアルゴリズムとして開発していた．今後の実装を考慮し，より本来のモデルに近い同時並列計算を用いた実装アルゴリズムの開発を行い，計算シミュレーションにより評価し有用性を確認した．また，実機ロボットの開発において、ハンドリング機構を持つロボットの設計および要素部品の選定と購入を行った．しかし、実機ロボットの製作が遅れており，複数台のロボットの完成に至っていない。また、関連して、複数方策の統合による方策の再利用方法、および、実機実装を考慮した、提案手法に基づく基本モデルの構築と検証が遅れている。
|
| Strategy for Future Research Activity |
実機ロボットの製作を至急進めるとともに、プロトタイプ理論に基づく、実機ロボットに実装可能，かつ，認知的経済性を検証可能な基本モデルを作成する．また、また活性化拡散モデルの改良に基づき、複数方策の統合による方策の再利用方法について検討する。さらに，検討したタスクを対象に，提案モデルを適用した学習シミュレーションを行い検証し，提案手法の課題を抽出する．
|
Research Products
(3 results)
