• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

実環境における深層強化学習の実現と群ロボットへの展開

研究課題

研究課題/領域番号 19K12147
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分61040:ソフトコンピューティング関連
研究機関松江工業高等専門学校

研究代表者

堀内 匡  松江工業高等専門学校, 電子制御工学科, 教授 (50294129)

研究分担者 青代 敏行  東京都立産業技術高等専門学校, ものづくり工学科, 准教授 (40571849)
研究期間 (年度) 2019-04-01 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2021年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2020年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2019年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
キーワード深層強化学習 / 知能ロボティクス / 群ロボット / 行動獲得
研究開始時の研究の概要

本研究では,実環境での深層強化学習の実現と群ロボットの協調行動の獲得を目指す.実環境での深層強化学習を実現するために,「シミュレーションと実機の差異の低減手法」を導入する.その差異の低減手法として,実機ロボットに搭載したカメラの画像に対してセグメンテーション(領域分割)と低解像度化をすることで,実環境での見え方をシミュレーション環境での見え方に近づけて,実環境の複雑さを低減する.そのうえで,複数のロボットが存在する環境を想定し,群ロボットの協調行動の獲得を実現する.さらに,実社会での応用において重要となる「深層強化学習における行動選択の説明性の向上」を実現する.

研究成果の概要

本研究では,実環境での深層強化学習を実現し,群ロボットの協調行動の獲得に応用した.まず,シミュレーションと実機の差異の低減手法を検討し,単一の移動ロボットの視覚情報に基づく行動獲得を深層強化学習により実現した.次に,複数のロボットが存在する環境を想定し,実機の群ロボットを対象とした協調行動の獲得を実現した.具体的には,群ロボットの環境における協調行動として,追従行動および追い抜き行動の獲得を深層強化学習により実現した.さらに,深層強化学習を用いたロボットの行動選択の説明性の向上に向けて,ロボットがカメラ画像内のどの領域に注目して行動を選択したかという注視領域の可視化について,有効性を確認した.

研究成果の学術的意義や社会的意義

本研究は,人工知能の中核である機械学習の技術を実機ロボットに応用したものである.深層学習と強化学習を組み合わせた深層強化学習という手法を用いて,実機ロボットが視覚情報に基づいて行動を自分自身で学習することを実現した.また,複数のロボットが存在する環境を想定し,実機の群ロボットを対象とした協調行動の獲得を実現した.具体的には,群ロボットの環境において,追従行動および追い抜き行動の獲得を実現し,深層強化学習による協調行動の学習が可能であることを明らかにした.これらの成果は,物流倉庫や福祉施設などにおける搬送ロボット群の行動制御などにつながると期待できる.

報告書

(6件)
  • 2023 実績報告書   研究成果報告書 ( PDF )
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 研究成果

    (31件)

すべて 2024 2023 2022 2021 2020 2019

すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 1件) 学会発表 (28件) (うち国際学会 5件、 招待講演 1件)

  • [雑誌論文] モーションセンサを用いたオールの動きを可視化する試み~ローイング運動時のブレードワークに着目して~2021

    • 著者名/発表者名
      一箭 フェルナンド ヒロシ,堀内 匡
    • 雑誌名

      スポーツパフォーマンス研究

      巻: 13 ページ: 418-427

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] カラーグローブを用いた手指輪郭線画像の生成とその手形状パターン認識への応用2020

    • 著者名/発表者名
      藤嶋教彰,北尾 樹,高橋歩武,堀内 匡
    • 雑誌名

      電気学会論文誌C(電子・情報・システム部門誌)

      巻: 140 号: 1 ページ: 61-67

    • DOI

      10.1541/ieejeiss.140.61

    • NAID

      130007779189

    • ISSN
      0385-4221, 1348-8155
    • 年月日
      2020-01-01
    • 関連する報告書
      2019 実施状況報告書
    • 査読あり
  • [雑誌論文] Vision-based Behavior Acquisition by Deep Reinforcement Learning in Multi-Robot Environment2020

    • 著者名/発表者名
      R. Watanuki, T. Horiuchi and T. Aodai
    • 雑誌名

      ICIC Express Letters, Part B: Applications

      巻: 11 ページ: 237-244

    • NAID

      40022249302

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり
  • [学会発表] A Study on Bayesian Optimization of Hyper-Parameters and Reward Settings in Deep Reinforcement Learning2024

    • 著者名/発表者名
      R. Sota, T. Nishimura and T. Horiuchi
    • 学会等名
      The 2nd International Symposium on Data-Driven Intelligent Optimization for Decision Making
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 画像処理技術を用いた板金加工部品の自動寸法検査システムに関する検討2024

    • 著者名/発表者名
      佃 結衣,伊藤皓史郎,外谷昭洋,堀内 匡
    • 学会等名
      2024年電子情報通信学会総合大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Vision Transformerによる画像認識と判断根拠の可視化2024

    • 著者名/発表者名
      原 歩睦,堀内 匡
    • 学会等名
      第28回日本知能情報ファジィ学会中国・四国支部大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 深層強化学習を用いた群ロボットの協調行動の獲得2024

    • 著者名/発表者名
      生和直央,堀内 匡
    • 学会等名
      第28回日本知能情報ファジィ学会中国・四国支部大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] A Study on Optimization of Hyper-Parameters in Deep Reinforcement Learning by Bayesian Optimization2023

    • 著者名/発表者名
      R. Sota, T. Nishimura and T. Horiuchi
    • 学会等名
      The 17th International Conference on Innovative Computing, Information and Control
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] ベイズ最適化を用いた深層強化学習のハイパーパラメータの最適化に関する検討2023

    • 著者名/発表者名
      曽田涼介,西村拓人,堀内 匡
    • 学会等名
      2023年電気学会電子・情報・システム部門大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] ベイズ最適化による深層強化学習のハイパーパラメータと報酬関数の最適化の試み2023

    • 著者名/発表者名
      曽田涼介,西村拓人,堀内 匡
    • 学会等名
      電気学会 システム/制御 合同研究会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 深層強化学習を用いた群ロボットの追い抜き行動の獲得2023

    • 著者名/発表者名
      生和直央,堀内 匡
    • 学会等名
      第27回日本知能情報ファジィ学会中国・四国支部大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] ベイズ最適化を用いた深層強化学習のハイパーパラメータの最適化2023

    • 著者名/発表者名
      曽田涼介,西村拓人,堀内 匡
    • 学会等名
      第27回日本知能情報ファジィ学会中国・四国支部大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 深層強化学習を用いた群ロボットの協調行動の獲得に関する検討2022

    • 著者名/発表者名
      福島 英,曽田涼介,堀内 匡
    • 学会等名
      2022年電気学会電子・情報・システム部門大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 深層強化学習を用いた移動ロボットの行動獲得における改良手法の検討2022

    • 著者名/発表者名
      曽田涼介,福島 英,堀内 匡
    • 学会等名
      2022年電気学会電子・情報・システム部門大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 深層強化学習を用いた群ロボットの協調行動の獲得2022

    • 著者名/発表者名
      福島 英,綿貫零真,堀内 匡
    • 学会等名
      第26回日本知能情報ファジィ学会中国・四国支部大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] IMUセンサを用いた漕艇動作可視化システムに関する研究2022

    • 著者名/発表者名
      石原悠登,石川晃太朗,一箭 フェルナンド ヒロシ,堀内 匡
    • 学会等名
      第26回日本知能情報ファジィ学会中国・四国支部大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 深層強化学習を用いた群ロボットの行動獲得に関する実験的考察2021

    • 著者名/発表者名
      福島 英,綿貫零真,堀内 匡
    • 学会等名
      2021年電気学会電子・情報・システム部門大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] ボート競技における漕艇動作可視化システムの基礎的検討2021

    • 著者名/発表者名
      石原悠登,石川晃太朗,一箭 フェルナンド ヒロシ,堀内 匡
    • 学会等名
      2021年電気学会電子・情報・システム部門大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] A PBL-Oriented English Class to Foster Globally Competent Future Engineers2021

    • 著者名/発表者名
      S. Matsuda, T. Horiuchi, M. Higa, A. Ashraful and J. Salsgiver
    • 学会等名
      The 14th International Symposium on Advances in Technology Education
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] 深層強化学習を用いた群ロボットの行動獲得に関する検討2021

    • 著者名/発表者名
      福島 英,山田航平,堀内 匡
    • 学会等名
      第25回日本知能情報ファジィ学会中国・四国支部大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] ボート競技における漕艇動作可視化システムに関する検討2021

    • 著者名/発表者名
      石原悠登,石川晃太朗,堀内 匡,一箭 フェルナンド ヒロシ
    • 学会等名
      第25回日本知能情報ファジィ学会中国・四国支部大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 深層強化学習を用いた群ロボットの実機環境での行動獲得の試み2020

    • 著者名/発表者名
      綿貫零真,カン サリュー,福島 英,堀内 匡
    • 学会等名
      計測自動制御学会システム・情報部門学術講演会2020
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 深層強化学習における移動ロボットの注視領域の可視化手法に関する検討2020

    • 著者名/発表者名
      福田隼也,綿貫零真,堀内 匡
    • 学会等名
      電気学会システム研究会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 人工知能・機械学習の活用とロボティクス2020

    • 著者名/発表者名
      堀内 匡
    • 学会等名
      技術コミュニティラボ 第9回ミーティング
    • 関連する報告書
      2019 実施状況報告書
    • 招待講演
  • [学会発表] A Study on Vision-based Behavior Acquisition of Multi-Robot System by Deep Reinforcement Learning2019

    • 著者名/発表者名
      R. Watanuki, T. Horiuchi and T. Aodai
    • 学会等名
      SICE Annual Conference 2019
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Vision-based Behavior Acquisition by Deep Reinforcement Learning in Multi-Robot Environment2019

    • 著者名/発表者名
      R. Watanuki, T. Horiuchi and T. Aodai
    • 学会等名
      The 14th International Conference on Innovative Computing, Information and Control
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] 深層強化学習を用いた実機ロボットの室内環境での行動獲得の試み2019

    • 著者名/発表者名
      栗山海渡,綿貫零真,堀内 匡,青代敏行
    • 学会等名
      2019年電気学会電子・情報・システム部門大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] A Study on Behavior Acquisition by Deep Reinforcement Learning in Multi-Robot Environment2019

    • 著者名/発表者名
      R. Watanuki, T. Horiuchi and T. Aodai
    • 学会等名
      2019年電気学会電子・情報・システム部門大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 深層強化学習における移動ロボットの注視領域の可視化の試み2019

    • 著者名/発表者名
      西田吉克,福田隼也,綿貫零真,堀内 匡,青代敏行
    • 学会等名
      計測自動制御学会システム・情報部門学術講演会2019
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 深層強化学習における移動ロボットの注視領域の可視化に関する検討2019

    • 著者名/発表者名
      福田隼也,綿貫零真,堀内 匡,青代敏行
    • 学会等名
      第24回日本知能情報ファジィ学会中国・四国支部大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 深層強化学習の群ロボットへの応用:移動ロボット群の行動獲得2019

    • 著者名/発表者名
      綿貫零真,カン サリュー,堀内 匡,青代敏行
    • 学会等名
      第24回日本知能情報ファジィ学会中国・四国支部大会
    • 関連する報告書
      2019 実施状況報告書

URL: 

公開日: 2019-04-18   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi