マルチタスク環境におけるCPGと強化学習を用いた多脚ロボットの行動獲得

• 研究課題/領域番号: 15K00355
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 研究分野: ソフトコンピューティング
• 研究機関: 松江工業高等専門学校
• 研究代表者: 堀内 匡 松江工業高等専門学校, 電子制御工学科, 教授 (50294129)
• 研究協力者: 岸本 良一 ; 佐々木 光
• 研究期間 (年度): 2015-04-01 – 2018-03-31
• 研究課題ステータス: 完了 (2017年度)
• 配分額: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円); 2017年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円); 2016年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円); 2015年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
• キーワード: 知能ロボティクス / ニューラルネットワーク / 強化学習 / 行動獲得 / 複数タスク

研究成果の概要

本研究では，実機の多脚ロボットを対象として，CPG (Central Pattern Generator) と強化学習を用いた枠組みにより，ロボット自身が障害物を回避しながら目標地点に到達するという複数タスクを遂行するための行動獲得を実現した．まず，それぞれのタスクを遂行する各行動モジュールをCPGと強化学習を用いて実現した．次に，ロボットの状況に応じて，行動モジュールの出力を統合する上位モジュールを導入した複数タスク環境での行動学習システムを構築した．六脚ロボットと四脚ロボットに加えて，ヘビ型ロボットにもこの行動学習システムを実装し，各ロボットにおける実機実験を通して，有効性を確認した．

研究成果

• [雑誌論文] Experimental Study on Behavior Acquisition of Mobile Robot by Deep Q-Network (2017)
  • 著者名/発表者名: Sasaki Hikaru, Horiuchi Tadashi, Kato Satoru
  • 雑誌名: Journal of Advanced Computational Intelligence and Intelligent Informatics 巻: 21 号: 5 ページ: 840-848
  • DOI: 10.20965/jaciii.2017.p0840
  • NAID: 130007520131
  • ISSN: 1343-0130, 1883-8014
  • 年月日: 2017-09-20
  • 査読あり / オープンアクセス
• [雑誌論文] CPGと強化学習を用いたヘビ型ロボットの目標到達行動の獲得 (2017)
  • 著者名/発表者名: 永海 昂，岸本良一，堀内 匡
  • 雑誌名: 知能と情報 巻: 29 号: 2 ページ: 551-557
  • DOI: 10.3156/jsoft.29.2_551
  • NAID: 130006893402
  • ISSN: 1347-7986, 1881-7203
  • 査読あり / オープンアクセス
• [雑誌論文] A Study on Behavior Acquisition of Mobile Robot by Deep Q-network (2017)
  • 著者名/発表者名: Hikaru Sasaki, Tadashi Horiuchi and Satoru Kato
  • 雑誌名: ICIC Express Letters, Part B: Applications 巻: 8 ページ: 727-733
  • NAID: 40021187526
  • 査読あり / 謝辞記載あり
• [雑誌論文] ウェアラブルセンサを用いた頭部動作認識システムの構築 (2016)
  • 著者名/発表者名: 木佐省吾，堀内 匡
  • 雑誌名: 知能と情報 巻: 28 号: 6 ページ: 986-991
  • DOI: 10.3156/jsoft.28.986
  • NAID: 130005292265
  • ISSN: 1347-7986, 1881-7203
  • 査読あり / オープンアクセス
• [雑誌論文] CPGと強化学習を用いた多脚ロボットの目標到達行動の獲得 (2016)
  • 著者名/発表者名: 石倉裕貴，岸本良一，堀内 匡
  • 雑誌名: 電気学会論文誌Ｃ（電子・情報・システム部門誌） 巻: 136 号: 3 ページ: 333-339
  • DOI: 10.1541/ieejeiss.136.333
  • NAID: 130005132282
  • ISSN: 0385-4221, 1348-8155
  • 査読あり / 謝辞記載あり
• [雑誌論文] Japanese Historical Character Recognition using Convolutional Neural Networks (2015)
  • 著者名/発表者名: Hikaru Sasaki, Tadashi Horiuchi and Satoru Kato
  • 雑誌名: ICIC Express Letters, Part B: Applications 巻: Vol.6 ページ: 3159-3164
  • NAID: 40020667135
  • 査読あり
• [学会発表] 深層強化学習を用いた四脚ロボットの視覚ベースの行動獲得の実現 (2018)
  • 著者名/発表者名: 吉木綜一郎，田中 駿，堀内匡，幸田憲明
  • 学会等名: 電気学会 システム研究会，ST-18-012
• [学会発表] 深層強化学習の実機ロボットへの応用：車輪型移動ロボットの行動獲得の実現 (2018)
  • 著者名/発表者名: 加藤大地，佐々木光，堀内匡，青代敏行
  • 学会等名: 計測自動制御学会 第45回知能システムシンポジウム
• [学会発表] Vision-based Behavior Learning of Mobile Robot by Deep Q-network (2017)
  • 著者名/発表者名: Sasaki Hikaru, Horiuchi Tadashi, Kato Satoru
  • 学会等名: The 12th International Conference on Innovative Computing, Information and Control
  • 国際学会
• [学会発表] A Study on Vision-based Mobile Robot Learning by Deep Q-network (2017)
  • 著者名/発表者名: Sasaki Hikaru, Horiuchi Tadashi, Kato Satoru
  • 学会等名: The SICE Annual Conference 2017
  • 国際学会
• [学会発表] 深層強化学習を用いた移動ロボットの行動獲得に関する実験的考察 (2017)
  • 著者名/発表者名: 佐々木光，堀内匡，加藤聡
  • 学会等名: 電気学会 システム研究会，ST-17-014
• [学会発表] CPGと強化学習を用いた自律型四脚ロボットの行動獲得の高速化 (2017)
  • 著者名/発表者名: 吉木綜一郎，堀内匡，幸田憲明
  • 学会等名: 平成29年電気学会電子・情報・システム部門大会
• [学会発表] 深層強化学習を用いた移動ロボットの視覚ベースの行動学習 (2017)
  • 著者名/発表者名: 佐々木光，堀内匡，加藤聡
  • 学会等名: 平成29年電気学会電子・情報・システム部門大会
• [学会発表] 手指リハビリテーション動作推定のための特徴量・識別器の検討 (2017)
  • 著者名/発表者名: 松本航，青代敏行，堀内匡
  • 学会等名: 第33回ライフサポート学会大会
• [学会発表] 深層強化学習を用いた移動ロボットの視覚ベースの行動学習に関する検討 (2017)
  • 著者名/発表者名: 佐々木光，堀内匡，加藤聡
  • 学会等名: 計測自動制御学会 システム・情報部門学術講演会2017
• [学会発表] 深層強化学習を用いた四脚ロボットの視覚ベースの行動獲得の試み (2017)
  • 著者名/発表者名: 吉木綜一郎，田中駿，堀内匡，幸田憲明
  • 学会等名: 第22回日本知能情報ファジィ学会中国・四国支部大会
• [学会発表] 深層強化学習の実機ロボットへの応用：車輪型移動ロボットの行動獲得 (2017)
  • 著者名/発表者名: 加藤大地，佐々木光，堀内匡，青代敏行
  • 学会等名: 第22回日本知能情報ファジィ学会中国・四国支部大会
• [学会発表] CPGと強化学習を用いた自律型四脚ロボットの行動獲得の実現 (2016)
  • 著者名/発表者名: 吉木綜一郎，足立智貴，堀内 匡
  • 学会等名: 第21回日本知能情報ファジィ学会中国・四国支部大会
  • 発表場所: 広島市立大学（広島県広島市）
  • 年月日: 2016-12-17
• [学会発表] 深層強化学習を用いた移動ロボットの行動獲得に関する検討 (2016)
  • 著者名/発表者名: 佐々木 光，堀内 匡，加藤 聡
  • 学会等名: 第21回日本知能情報ファジィ学会中国・四国支部大会
  • 発表場所: 広島市立大学（広島県広島市）
  • 年月日: 2016-12-17
• [学会発表] 深層強化学習を用いた行動獲得の高速化に関する検討 (2016)
  • 著者名/発表者名: 草野航希，佐々木 光，堀内 匡
  • 学会等名: 第21回日本知能情報ファジィ学会中国・四国支部大会
  • 発表場所: 広島市立大学（広島県広島市）
  • 年月日: 2016-12-17
• [学会発表] CPGと強化学習を用いた自律型四脚ロボットの行動獲得に関する検討 (2016)
  • 著者名/発表者名: 吉木綜一郎，足立智貴，堀内 匡
  • 学会等名: 日本技術史教育学会 2016年度全国大会
  • 発表場所: サンラポーむらくも（島根県松江市）
  • 年月日: 2016-12-10
• [学会発表] 深層強化学習を用いた車輪型移動ロボットの行動獲得に関する検討 (2016)
  • 著者名/発表者名: 佐々木 光，堀内 匡，加藤 聡
  • 学会等名: 日本技術史教育学会 2016年度全国大会
  • 発表場所: サンラポーむらくも（島根県松江市）
  • 年月日: 2016-12-10
• [学会発表] 機械学習の実機ロボットへの応用 (2016)
  • 著者名/発表者名: 堀内 匡
  • 学会等名: 計測自動制御学会 第6回知能工学部会研究会「賢さの先端研究会」／第54回システム工学部会研究会
  • 発表場所: フォーラムミカサ エコ（東京都千代田区）
  • 年月日: 2016-11-07
• [学会発表] CPGと強化学習を用いた自律型四脚ロボットの行動獲得 (2016)
  • 著者名/発表者名: 吉木綜一郎，三上大志，堀内 匡
  • 学会等名: 平成28年電気学会電子・情報・システム部門大会
  • 発表場所: 神戸大学（兵庫県神戸市）
  • 年月日: 2016-08-31
• [学会発表] 深層強化学習を用いた移動ロボットの行動獲得の試み (2016)
  • 著者名/発表者名: 佐々木 光，堀内 匡，加藤 聡
  • 学会等名: 平成28年電気学会電子・情報・システム部門大会
  • 発表場所: 神戸大学（兵庫県神戸市）
  • 年月日: 2016-08-31
• [学会発表] A Shared Multi-Particle Filter for Ball Position Estimation in RoboCup Small Size League Soccer Game (2016)
  • 著者名/発表者名: Toshiyuki Beppu, Shota Aoki and Tadashi Horiuchi
  • 学会等名: Proceedings of IEEE International Conference on Autonomous Robot Systems and Competitions
  • 発表場所: Braganca (Portugal)
  • 年月日: 2016-05-04
  • 国際学会
• [学会発表] CPGと強化学習を用いた自律型四脚ロボットの行動獲得の試み (2016)
  • 著者名/発表者名: 三上大志，永海 昂，岸本良一，堀内 匡
  • 学会等名: 平成28年電気学会全国大会
  • 発表場所: 東北大学（宮城県仙台市）
  • 年月日: 2016-03-16
• [学会発表] CPGと強化学習を用いたヘビ型ロボットの目標到達行動の自律的獲得 (2016)
  • 著者名/発表者名: 永海 昂，岸本良一，堀内 匡
  • 学会等名: 電気学会システム研究会
  • 発表場所: 東京トラック事業健保会館（東京都千代田区）
  • 年月日: 2016-03-08
• [学会発表] CPGと強化学習を用いたヘビ型ロボットの行動獲得に関する検討 (2015)
  • 著者名/発表者名: 永海 昂，岸本良一，堀内 匡
  • 学会等名: 第20回日本知能情報ファジィ学会中国・四国支部大会
  • 発表場所: 広島市立大学（広島県広島市）
  • 年月日: 2015-12-12
• [学会発表] Convolutional Neural Networkによるパターン認識と行動学習に関する基礎的検討 (2015)
  • 著者名/発表者名: 佐々木 光，堀内 匡，加藤 聡
  • 学会等名: 電気学会システム研究会
  • 発表場所: 新潟県立看護大学（新潟県上越市）
  • 年月日: 2015-12-06
• [学会発表] パーティクルフィルタを用いたロボカップサッカーにおける複数台カメラによる位置計測の精度向上 (2015)
  • 著者名/発表者名: 青木翔雷，堀内 匡，片山 優，別府俊幸
  • 学会等名: 第24回計測自動制御学会中国支部学術講演会
  • 発表場所: 岡山理科大学（岡山県岡山市）
  • 年月日: 2015-11-28
• [学会発表] CPGと強化学習を用いた四脚ロボットの複数タスクの獲得 (2015)
  • 著者名/発表者名: 岸本良一，石倉裕貴，堀内 匡
  • 学会等名: 平成27年電気学会電子・情報・システム部門大会
  • 発表場所: 長崎大学（長崎県長崎市）
  • 年月日: 2015-08-26
• [学会発表] CPGと強化学習を用いたヘビ型ロボットの行動獲得の試み (2015)
  • 著者名/発表者名: 永海 昂，岸本良一，堀内 匡
  • 学会等名: 平成27年電気学会電子・情報・システム部門大会
  • 発表場所: 長崎大学（長崎県長崎市）
  • 年月日: 2015-08-26
• [学会発表] 畳み込みニューラルネットワークの古文書文字認識への応用 (2015)
  • 著者名/発表者名: 佐々木 光，堀内 匡，加藤 聡
  • 学会等名: 平成27年電気学会電子・情報・システム部門大会
  • 発表場所: 長崎大学（長崎県長崎市）
  • 年月日: 2015-08-26