一人乗り電気自動車を対象とした不整地走行戦略の自動学習システムの研究

2018 Fiscal Year Research-status Report

• Project/Area Number: 17K00364
• Research Institution: Wakayama University
• Principal Investigator: 中村 恭之 和歌山大学, システム工学部, 教授 (50291969)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Keywords: SRCNN / DQN / DDQN

Outline of Annual Research Achievements

本研究課題では，平坦な道路，起伏の大きな段差や数段の階段といった様々な走行状況に適した，一人乗り電気自動車(PMV)の動作手順（車輪と脚の行動の組合せの生成）を自動学習する手法の完成を目指している．H30年度は，この手法を完成させるために，H29年度から継続して次の2つ手法について検討した．
１．PMVの周囲環境を三次元レーザースキャナ(以後，3D Lidarと記す)によりセンシングし，計測された三次元データによる周囲環境の把握手法
２．獲得された周囲環境の三次元データから，脚を設置する場所の候補地点を自動発見する手法
１．疎な三次元データ（点群データ）から，より密な三次元データ（点群データ）を生成するために，SRCNN(Super Resolution Convolutional Neural Network)という手法を用いることで，密な三次元データを生成することが可能であるという見通しを得た．SRCNNと類似の手法のSRGAN(Super Resolution Generative Adversarial Network)との性能比較を行った結果，SRCNNが高解像度画像を生成する性能が良いことが分かった．そのため，手法1に関してはSRCNNを利用することに決定した．
２．の自動発見法に関しては，深層強化学習アルゴリズム (DQN, Double DQN)を用いて，まずは，平面上で2輪タイプの車輪型移動ロボットの自動走行が実現可能であるか検証した．その結果，自動走行するための動作手順を自動獲得することが可能であることを確認した．現有するGPUを搭載した高性能計算機を用いると，深層強化学習アルゴリズムにより簡略化したPMVの自動走行動作の獲得に多くの時間を要することが判明し，より高性能な計算機が必要であるという見通しを得た．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

H30年度に開発した手法１に関しては，3D Lidarから得られる点群データを解像度の低い画像のように扱い，SRCNNを利用することでデータを補間し空間分解能を向上するというものである．SRCNNとは，CNNの技術を用いて低解像の画像を高解像度の画像に変換する（超解像）手法である．
この手法の検討を行う際に，類似の手法としてSRGAN(Super Resolution Generative Adversarial Network)との性能比較を行った結果，SRCNNが高解像度画像を生成する性能が良いことが分かった．そのため，手法1に関してはSRCNNを利用することに決定した．現在のところ，実装に用いる各種ライブラリ（深層学習用，画像取得用，結果表示用等）の準備は整っているが，この手法の提案システムへの実装はH30年度中に完了していない．
しかし，現有するGPUを搭載した高性能計算機を用いて，SRGANの実装は完了しており，SRCNNの実装に関しては時間を要しないと考えている．
本研究で開発予定の手法2に関しては，深層強化学習アルゴリズムを用いて，想定しているPMVの構造を簡略化した移動機構での動作手順の自動獲得は可能になっているが，階段を含めた平地以外の走行環境を踏破できる機構を有するPMVを用いた実装はまだ完成していない．階段を含めた平地以外の走行環境やPMVの移動機構や動力学計算を，計算機内で正確にシミュレートするソフトウェア（モデル表示用，衝突検出用，動力学計算用等）の準備は整っているが，実装する作業に時間を要しており，PMVや想定する環境を反映した実装が完了していない．

Strategy for Future Research Activity

本研究で開発予定の手法1の実装方法については，既に調査済みであるため，H31年度前半での手法１の実装の完成を目指す．実装が完了した後（H31年度後半）は，一定勾配の坂道環境，次に，平坦な通路と1つの段差を含む環境，最後に，平坦な通路と数段の階段を含む環境において，実装した手法により三次元の面データを生成して，その正確性について検証する．検証の結果，改善が必要であれば，その問題点を解決する方法について検討する．
本研究で開発予定の手法2に関しては，階段を含めた平地以外の走行環境や，PMVの車両構造・動力学計算をシミュレートするソフトウェアの開発を引き続き行い，H31年度前半の完成を目指す．その上で，深層強化学習アルゴリズム (DQN, Double DQN, Dueling Networks, Prioritized Experience Replay Multi-step Learning, Distributional RLなど) や，方策ベースの強化学習アルゴリズム (REINFORCE, DDQN, A3C, ACER, TRPO, PPOなど)などを実装して，脚を設置する場所の候補地点を自動発見する手法の完成を目指す．
これらの学習方法を実装するための各種ライブラリは，使用するための準備は既に終わっており，これら複数のライブラリを組み合わせたソフトウェアを開発することで，提案システムを最終的に構築する予定である．

Causes of Carryover

次年度に使用する予定の研究費があるが，この残額は次年度においては，大量の三次元計測データと仮想的なPMVのモデルを大容量のメモリを搭載した高性能計算機を使用して統合する予定であり，このようなGPUを搭載した高性能計算機を購入するために使用する予定である．近年，GPUを搭載した高性能計算機の販売は盛んに行われており，時間の進行とともにより高性能な計算機が販売される．従って，実際に高性能計算機を購入する時期は，研究費を有効活用するために，H31年度の夏頃に購入する予定である．

Remarks

今村　大介：SRGAN を用いた Lidar データの補間に関する研究，和歌山大学システム工学部知能情報学メジャー　2018年度卒業論文
古田　智樹：倒立振り子型移動ロボットの行動獲得のための深層強化学習法の性能比較，和歌山大学システム工学部知能情報学メジャー　2018年度卒業論文

Research Products

• [Remarks] 代表者のこれまでの研究
  • URL: http://www.wakayama-u.ac.jp/~ntakayuk/research-j.html
• [Remarks] 果樹等を対象とした非定常物体モデリングの研究
  • URL: http://www.wakayama-u.ac.jp/~ntakayuk/non-stat-obj-j.htm