強化学習によるロボットの諸機能の自律的、調和的、合目的的獲得と知能形成

2003 Fiscal Year Annual Research Report

• Project/Area Number: 15300064
• Research Category: Grant-in-Aid for Scientific Research (B)
• Research Institution: Oita University
• Principal Investigator: 柴田 克成 大分大学, 工学部, 助教授 (10260522)
• Keywords: 強化学習 / ニューラルネット / シンボル / コミュニケーション / シンボルグラウンディング問題 / カラー情報処理 / 成長型ニューラルネット / 隠れニューロン

Research Abstract

【1】強化学習に基づく会話の学習におけるノイズ付加によるシンボルの発現
ニューラルネットを用いてコミュニケーション信号を生成するエージェントとそれを受信して行動するエージェントを仮定し、両者を強化学習に基づいて独立に学習を行ったところ、学習可能な範囲において、コミュニケーション信号に付加するノイズが大きくなるほど、コミュニケーション信号が離散化され、受信者も離散化された信号として受け取るようになり、さらに、系全体がノイズに対して強くなることがわかった。さらに、リカレントネットを用いることで、信号の離散化が促進されることがわかった。このことは、従来シンボル処理が苦手とされてきたニューラルネットがシンボル(離散化された信号)の処理を行う能力を有することを示すとともに、シンボルグラウンディング問題の解決につながる大きな一歩と考えている。
【2】強化学習によるカラー情報処理と位置と色の情報表現
ニューラルネットにセンサ信号を入力し、動作信号を出力する移動ロボットが、カラー視覚信号を入力として物体到達を強化学習に基づいて学習させるタスクをシミューレーションで行い、報酬をもらえる物体に到達する行動を学習できることを確認した。そして、中間層ニューロンの出力を観察したところ、色によらない物体の大域的位置の情報を表現するニューロンが存在することを示した。これは、生体の脳において、物体の位置や速度を処理する経路と形や色を処理する経路に分離されていることが学習に基づいて行われている可能性を示唆していると考えている。
【3】成長型ニューラルネットの基礎研究
ニューロンの軸索の成長を、バックプロパゲーション法による学習の拡張としてとらえ、誤差信号を上位のニューロンが物質として拡散し、下位のニューロンがその濃度勾配にしたがって軸索を伸長させるという手法を提案してきた。さらに、隠れニューロンに対応できるように、隠れニューロンが誤差信号に関係なく下位のニューロンの成長を促す物質を拡散させる(1)成長促進物質拡散法、および最初に入力ニューロンと出力ニューロンが結合し、その後隠れニューロンを分離し、誤差信号に基づいて入力-隠れニューロン間を結合させる(2)隠れニューロン分離法を提案し、隠れニューロン一つの場合に適用し、非線形分離問題の学習を確認した。

Research Products

• [Publications] K.Shibata, M.Nakanishi: "Discretization of Analog Communication Signals by Noise Addition in Communication Learning"Proc.of The 9th AROB (Int'l Sympo.on Artificial Life and Robotics). Vol.2. 351-354 (2004)
• [Publications] R.Kurino, M.Sugisaka, K.Shibata: "Growing Neural Network with Hidden Neurons"Proc.of The 9th AROB (Int'l Sympo.on Artificial Life and Robotics). Vol.1. 144-147 (2004)
• [Publications] K.Yuki, M.Sugisaka, K.Shibata: "Learning of Reaching a Colored Object Based on Direct-Vision-Based Reinforcement Learning and Acquired Internal Representation"Proc.of The 9th AROB (Int'l Sympo.on Artificial Life and Robotics). Vol.2. 486-489 (2004)
• [Publications] M.Nakanishi, M.Sugisaka, K.Shibata: "Occurrence of State Confusion in the Learning of Communication Using Q-leaning"Proc.of The 9th AROB (Int'l Sympo.on Artificial Life and Robotics). Vol.2. 663-666 (2004)
• [Publications] R.Kurino, M.Sugisaka, K.Shibata: "Growing Neural Network for Acquisition of 2-layer Structure"Proc.of IJCNN (Int'l Conf.on Neural Networks)2003. (CD-ROM). 2512-2517 (2003)
• [Publications] 柴田克成: "コミュニケーションの強化学習におけるノイズ付加による連続値信号の離散化"電子情報通信学会技術研究報告. Vol.103, No.734. 55-60 (2004)