2020 Fiscal Year Research-status Report
プロトタイプ理論に基づく強化学習ロボットの知識選択における認知的経済性の向上
| Project/Area Number |
19K12173
|
|---|
| Research Institution | Tokyo Denki University |
|---|
Principal Investigator |
鈴木 剛 東京電機大学, 工学部, 教授 (00349789)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
藤井 浩光 千葉工業大学, 先進工学部, 准教授 (30781215)
温 文 東京大学, 大学院工学系研究科(工学部), 特任准教授 (50646601)
河野 仁 東京工芸大学, 工学部, 助教 (70758367)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 転移学習 / 認知心理学モデル / プロトタイプ理論 / 機械学習 / 強化学習 / マルチエージェントロボットシステム / マルチエージェント強化学習 |
|---|
| Outline of Annual Research Achievements |
本研究は、「直感」や「勘」のような人間が無意識的に行う認知メカニズムをシステム化し、ロボットに実装することを目標としている。その要素技術として、環境に対して強化学習するロボットが適応的に振る舞うために、様々な環境において学習により獲得済みの方策を転移学習にて選択して再利用する際に、保存されている全方策を検索するのではなく、予め再利用する「方策群」の候補を選択する手法を確立する。そのために本研究課題では、1)プロトタイプ理論に基づき，方策群をカテゴリに分割する方法論の構築（認知心理学の知見の応用）、2)センサ入力情報等から特徴量とプロトタイプを抽出し、カテゴリを機械学習する手法の開発（工学と認知心理学の融合）、3)活性化拡散モデルに基づきカテゴリから方策群を選択し、複数方策を結合して再利用する手法と強化学習手法の統合（工学的システム開発）、を行う。
2020年度は，プロトタイプ理論に基づく方策のカテゴリ化、活性化拡散モデルに基づく方策選択、複数方策の統合による方策の再利用について認知的経済性を検証可能な基本モデルの検討を継続した。プロトタイプ理論に基づく方策のカテゴリ化について、活性化拡散モデルとの関係を認知心理学的観点から整理し、方策の関連度合いによるカテゴリ化、および、提案手法に基づく認知的経済性の検討を行い、シミュレーションにより検証した。また、提案手法を実装し検証するための実機ロボットの製作を進め、ロボットの視覚入力による環境観測情報から特徴量を抽出するための画像学習手法と、それを用いた提案手法検証のためのタスクについて議論した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究課題では、提案手法の評価を計算機シミュレーションと実機ロボットにより行う。タスクとして、複数の形状での最短経路問題（静的タスク）、マルチエージェントによる協調搬送作業（動的タスク）で検証する。
2020年度は、プロトタイプ理論に基づく方策のカテゴリ化について、活性化拡散モデルとの関係を認知心理学的観点から整理した。具体的なカテゴリ化手法として、認知心理学の事例モデルを基に活性化拡散モデルの方策間距離（方策間の関連の度合い）の計算方法を改良し、方策間距離に基づくカテゴリ化手法を構築した。さらに、提案手法の適用による認知的経済性の評価のために、PCクラスタを用いて概念モデルの動作を大規模同時並列的に計算するコンピュータシステムを構築した。これらを用いて，最短経路探索問題などの計算機シミュレーションにより提案手法の検証を行った。
また、実機ロボットを用いた提案手法の検証のために、動的タスクについて検討を進めた。視覚入力から環境観測情報を特徴量として抽出しカテゴリ化するために、画像学習によるプリミティブ形状認識技術を用い，異なる形状の物体を協調的に搬送するタスクについて議論した。前年度に設計した、学習アルゴリズム実装および提案手法検証用の、簡易なマニピュレーション機能を持つ小型クローラロボットの製作を進めた。
動的タスク検証用の実験環境構築、複数台のクローラロボットの製作、提案モデルの実機ロボットへの実装についての進捗がやや遅れている。
|
| Strategy for Future Research Activity |
動的タスク検証用の実験環境構築、複数台のクローラロボットの製作、提案モデルの実機ロボットへの実装を進めるとともに、要素技術を統合する。静的タスクおよび動的タスクを対象に、強化学習を用いた方策の学習、プロトタイプ理論に基づく方策のカテゴリ化、活性化拡散モデルに基づくカテゴリからの方策群選択、選択された複数方策を結合して再利用する手法と強化学習手法の統合を行い、検証実験と評価を行う。
|
| Causes of Carryover |
研究分担者である千葉工業大学において、コロナ禍の影響により学会出張等がなくなり、また、本研究課題で実施する実験やシステムの構築の遅れとともに、物品販売業者等にも影響があり購入を予定していた物品の2020年度内の調達が難しくなったため、次年度に繰り越した。
研究経費の主な用途はロボットハードウェアおよび実験環境製作費であるため、繰り越した2020年度経費により、遅れているシステムおよび実験環境構築に必要な物品類を購入し、早急に製作する。その他の経費については、2021年度経費の計画と合わせて使用する予定である。
|
Research Products
(1 results)
