2003 年度実績報告書

強化学習によるロボットの諸機能の自律的、調和的、合目的的獲得と知能形成

研究課題

研究課題/領域番号	15300064
研究種目	基盤研究(B)
研究機関	大分大学
研究代表者	柴田克成大分大学, 工学部, 助教授 (10260522)
キーワード	強化学習 / ニューラルネット / シンボル / コミュニケーション / シンボルグラウンディング問題 / カラー情報処理 / 成長型ニューラルネット / 隠れニューロン
研究概要	【1】強化学習に基づく会話の学習におけるノイズ付加によるシンボルの発現ニューラルネットを用いてコミュニケーション信号を生成するエージェントとそれを受信して行動するエージェントを仮定し、両者を強化学習に基づいて独立に学習を行ったところ、学習可能な範囲において、コミュニケーション信号に付加するノイズが大きくなるほど、コミュニケーション信号が離散化され、受信者も離散化された信号として受け取るようになり、さらに、系全体がノイズに対して強くなることがわかった。さらに、リカレントネットを用いることで、信号の離散化が促進されることがわかった。このことは、従来シンボル処理が苦手とされてきたニューラルネットがシンボル(離散化された信号)の処理を行う能力を有することを示すとともに、シンボルグラウンディング問題の解決につながる大きな一歩と考えている。【2】強化学習によるカラー情報処理と位置と色の情報表現ニューラルネットにセンサ信号を入力し、動作信号を出力する移動ロボットが、カラー視覚信号を入力として物体到達を強化学習に基づいて学習させるタスクをシミューレーションで行い、報酬をもらえる物体に到達する行動を学習できることを確認した。そして、中間層ニューロンの出力を観察したところ、色によらない物体の大域的位置の情報を表現するニューロンが存在することを示した。これは、生体の脳において、物体の位置や速度を処理する経路と形や色を処理する経路に分離されていることが学習に基づいて行われている可能性を示唆していると考えている。【3】成長型ニューラルネットの基礎研究ニューロンの軸索の成長を、バックプロパゲーション法による学習の拡張としてとらえ、誤差信号を上位のニューロンが物質として拡散し、下位のニューロンがその濃度勾配にしたがって軸索を伸長させるという手法を提案してきた。さらに、隠れニューロンに対応できるように、隠れニューロンが誤差信号に関係なく下位のニューロンの成長を促す物質を拡散させる(1)成長促進物質拡散法、および最初に入力ニューロンと出力ニューロンが結合し、その後隠れニューロンを分離し、誤差信号に基づいて入力-隠れニューロン間を結合させる(2)隠れニューロン分離法を提案し、隠れニューロン一つの場合に適用し、非線形分離問題の学習を確認した。

研究成果
(6件)

すべてその他

すべて文献書誌 (6件)

[文献書誌] K.Shibata, M.Nakanishi: "Discretization of Analog Communication Signals by Noise Addition in Communication Learning"Proc.of The 9th AROB (Int'l Sympo.on Artificial Life and Robotics). Vol.2. 351-354 (2004)
[文献書誌] R.Kurino, M.Sugisaka, K.Shibata: "Growing Neural Network with Hidden Neurons"Proc.of The 9th AROB (Int'l Sympo.on Artificial Life and Robotics). Vol.1. 144-147 (2004)
[文献書誌] K.Yuki, M.Sugisaka, K.Shibata: "Learning of Reaching a Colored Object Based on Direct-Vision-Based Reinforcement Learning and Acquired Internal Representation"Proc.of The 9th AROB (Int'l Sympo.on Artificial Life and Robotics). Vol.2. 486-489 (2004)
[文献書誌] M.Nakanishi, M.Sugisaka, K.Shibata: "Occurrence of State Confusion in the Learning of Communication Using Q-leaning"Proc.of The 9th AROB (Int'l Sympo.on Artificial Life and Robotics). Vol.2. 663-666 (2004)
[文献書誌] R.Kurino, M.Sugisaka, K.Shibata: "Growing Neural Network for Acquisition of 2-layer Structure"Proc.of IJCNN (Int'l Conf.on Neural Networks)2003. (CD-ROM). 2512-2517 (2003)
[文献書誌] 柴田克成: "コミュニケーションの強化学習におけるノイズ付加による連続値信号の離散化"電子情報通信学会技術研究報告. Vol.103, No.734. 55-60 (2004)

2003 年度 実績報告書

強化学習によるロボットの諸機能の自律的、調和的、合目的的獲得と知能形成

研究代表者

柴田 克成 大分大学, 工学部, 助教授 (10260522)

研究成果

[文献書誌] K.Shibata, M.Nakanishi: "Discretization of Analog Communication Signals by Noise Addition in Communication Learning"Proc.of The 9th AROB (Int'l Sympo.on Artificial Life and Robotics). Vol.2. 351-354 (2004)

[文献書誌] R.Kurino, M.Sugisaka, K.Shibata: "Growing Neural Network with Hidden Neurons"Proc.of The 9th AROB (Int'l Sympo.on Artificial Life and Robotics). Vol.1. 144-147 (2004)

[文献書誌] K.Yuki, M.Sugisaka, K.Shibata: "Learning of Reaching a Colored Object Based on Direct-Vision-Based Reinforcement Learning and Acquired Internal Representation"Proc.of The 9th AROB (Int'l Sympo.on Artificial Life and Robotics). Vol.2. 486-489 (2004)

[文献書誌] M.Nakanishi, M.Sugisaka, K.Shibata: "Occurrence of State Confusion in the Learning of Communication Using Q-leaning"Proc.of The 9th AROB (Int'l Sympo.on Artificial Life and Robotics). Vol.2. 663-666 (2004)

[文献書誌] R.Kurino, M.Sugisaka, K.Shibata: "Growing Neural Network for Acquisition of 2-layer Structure"Proc.of IJCNN (Int'l Conf.on Neural Networks)2003. (CD-ROM). 2512-2517 (2003)

[文献書誌] 柴田克成: "コミュニケーションの強化学習におけるノイズ付加による連続値信号の離散化"電子情報通信学会技術研究報告. Vol.103, No.734. 55-60 (2004)

2003 年度実績報告書

柴田克成大分大学, 工学部, 助教授 (10260522)