2017 Fiscal Year Annual Research Report
階層的目標志向行動を学習・生成する神経ダイナミクスモデル
| Project/Area Number |
16H05878
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
有江 浩明 早稲田大学, 理工学術院, 助手 (20424814)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | 認知発達ロボティクス / ディープラーニング / ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
本研究課題では，階層的な目標志向行動の学習及びその適応的な生成に関するメカニズムを，ロボット構成論的アプローチにより理解することを目指している．この目標に向けて，平成29年度は階層的に構成された再帰結合神経回路モデル（Recurrent Neural Network: RNN）の構築と実ロボットを用いた行動生成学習実験を行った．具体的には，Long-Short Term Memory（LSTM）を有するRNNに対して，Parametric Bias（PB）と呼ばれる少数のニューロン群を上位層として付与したモデルを構築した．構築したモデルを平成28年度に整備した実験用ロボットハードウェアに実装し，教示データの収集・収集したデータの学習・学習済みモデルの評価を行った．
人とロボットの協調物体組み立てタスクをデザインし，直接教示によってロボットが物体操作を実行している際の視覚・運動情報を取得した．課題は，物体をつかむ，持ち上げる，手渡すといった繰り返し利用可能な行動単位（プリミティブ）と，そのプリミティブの多様な組み合わせから構成され，それらの順番は物体の位置等の外部環境の情報と最終的な目標情報に応じて定まるものである．取得した視覚・運動情報を前述のモデルを用いて予測学習し，学習後のモデルの評価は人との協調作業時に予期せぬ変化が起こった際も適応可能であるかどうかを調べることで行なった．
実験の結果，複雑な時系列データからモデルがプリミティブを学習によって獲得し，そのプリミティブを組み合わせることで，階層的な目標志向行動の生成が可能であることを確認した．また，事前の計画とは異なるふるまいを人がした場合も，ロボット自身の計画と人の動作を含む環境情報を統合することで，計画を動的に修正可能であることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成29年度は神経回路モデルの比較検討と実ロボットを用いた行動生成学習実験を行う予定であった．モデルの比較検討として，これまでに使用していた各階層が異なる時間スケールを有するRNNであるMultiple Timescale RNN（MTRNN）に加え，LSTMやGated Recurrent Unit（GRU）を有するRNNを比較する予定であった．現在までの進捗として，LSTM-RNNを用いた実ロボットによる行動生成学習実験を行い，一定の成果を得ることができている．MTRNNやGRU-RNNを用いた学習実験も行なっているが，定量的な比較を行うことはできていない．しかしながら，計算機環境としてGPUを搭載した計算機を拡充したことで，今後の研究を円滑に進めることが可能であると考えている．
平成29年度に行ったロボット実験では，基礎的検討のためタスクを簡略化し，学習に使用したデータも小規模なものとなっている．具体的には，視覚情報として物体及び人の手の位置を表す色重心座標10次元（5色分），運動情報としてロボットアームの関節角度7次元とグリッパの1次元を用いた．これらの条件において LSTM-RNNの性能評価を行うことができたため，今後はモデル間の比較に加え，タスクの複雑化及び大規模データへの展開を目標に研究を進める予定である．
|
| Strategy for Future Research Activity |
今後は特に，複数モデル間の性能比較に加え，視覚情報の取り扱いを検討する．これまでの研究では，簡略化のためロボットから取得した画像から色重心座標を画像処理によって取り出して使用していたため，実験設定が制限されていた．平成30年度は，（1）画像を前処理することなくそのままモデルへの入力として使用できるように変更を加える．具体的には，画像入力に対し，Convolution層を階層的に積み重ねることで，高次元の視覚情報を低次元の運動情報と同程度の次元まで圧縮する．そしてモデルはこの低次元に圧縮された視覚情報の予測を行い，その予測結果を階層的に積み重ねたDeconvolution層により元の次元まで展開する．このようにすることで，モデルは画像の予測が可能となり，予測結果と実際の状況をピクセルレベルで比較することが可能となる．
また，平成29年度は行動の最終目標をバイアスとして入力することで複数の目標志向行動を実現していたが，平成30年度は（2）最終目標をその状況の画像として与え，複数の最終目標を学習し汎化することで，未経験の最終目標も画像として与えることで実現可能であることを示す．（1）で述べた方法をここでも用いることで，最終目標画像をConvolution層で低次元に圧縮し，圧縮された情報をモデルへバイアスとして与える．これにより，複数の目標志向行動を最終目標画像と共に学習しておくことで，未経験の最終目標画像が与えられた場合も，過去の経験の組み合わせとして目標を理解し，新規な行動生成が可能となる．
これらの変更をこれまでに構築したモデルに加え，ロボットの行動学習・生成に関する実験を行う．特にその際に，新規な最終目標が抽象的な概念へと圧縮され，モデル内でいかにして階層的な目標情報が構成され感覚運動情報と統合されることで，目標志向行動が生成されるかを解析する．
|
