自己・他者学習機能を有す脳情報処理模倣型統合システムとその応用

2013 Fiscal Year Annual Research Report

• Project/Area Number: 23500181
• Research Institution: Aichi Prefectural University
• Principal Investigator: 小林 邦和 愛知県立大学, 情報科学部, 准教授 (40263793)
• Co-Investigator(Kenkyū-buntansha): 大林 正直 山口大学, 理工学研究科, 教授 (60213849) ; 呉本 尭 山口大学, 理工学研究科, 助教 (40294657)
• Keywords: マルチエージェント / 強化学習 / 意図推定 / 行動予測 / 注意生成 / 脳情報処理 / ロボット / 機械学習

Research Abstract

本研究で得られた成果は，以下の通りである．なお，成果は，学術論文26編，学会発表（国際会議，国内会議）69編，図書5冊として公表した．
1)自己学習と他者学習の定義：マルチエージェントシステム（MAS）におけるエージェントの行動学習は，その性質より，自己の基本行動様式を獲得する自己学習と他者との協調行動様式を獲得する他者学習に分けられる．自己学習で獲得する基本行動は，MAS特有の行動ではなく，原則シングルエージェントシステム（SAS）で必要な要素行動と考えられる．従って，先ずSASにおいて，エージェントが要素行動を獲得するように自己学習を行う．次にMASにおいて，エージェントが協調行動を獲得するように他者学習を行った．
2)各種モデルの構築：既存モデルを基礎として，他者の状態や行動の予測を行う状態・行動予測モデル，他者の行動政策の推定を行う政策推定モデル，他者の行動意図の推定を行う意図推定モデル，複数の感覚刺激の中から特定の刺激のみに着目する注意生成モデル，ヒトの情動を模倣した情動生成モデルをそれぞれ構築した．なお各モデルは，脳情報処理の階層レベルに応じて，階層構造をもつという特徴がある．
3)脳情報処理模倣型統合システムの開発：2)で提案した各種モデルと学習・推論システムを統合し，マルチエージェントシステムにおける協調行動の創発を指向した脳情報処理模倣型統合システムを開発した．同時に計算機シミュレーションにより，本システムの性能評価を行った．
4)ロボット実験による検証：3)で開発した統合システムをロボット環境で実装し，その基本的な性能評価と検証を行った．その際，ロボットのセンサー（知覚）入力とモータ（行動）出力という時系列データの分節化を行う手法を考案し，センサーとモータの要素分割を行った．これは基本行動を効率的に学習するために必要となるものであった．

Research Products

• [Journal Article] Time Series Forecasting Using a Deep Belief Network with Restricted Boltzmann Machines (2014)
  • Author(s): Kuremoto, T., Kimura, S., Kobayashi, K., and Obayashi, M.
  • Journal Title: Neurocomputing Volume: 37 Pages: 47-56
  • Peer Reviewed
• [Journal Article] マルコフ情動モデルを備えたロボットの行動決定法 (2014)
  • Author(s): 綿田 将悟, 大林 正直, 呉本 尭, 間普 真吾, 小林 邦和
  • Journal Title: 電気学会論文誌 Volume: 134-C Pages: 85-93
  • Peer Reviewed
• [Journal Article] Analyzing and Learning Opponent's Strategies in the RoboCup Small Size League (2014)
  • Author(s): Yasui, K., Kobayashi, K., Murakami, K., and Naruse, T.
  • Journal Title: Lecture Notes in Artificial Intelligence Volume: in press Pages: in press
  • Peer Reviewed
• [Journal Article] 自己融合小脳パーセプトロン改良モデル利用型制御システムとその合意問題への適用 (2014)
  • Author(s): 内山 祥吾, 大林 正直, 呉本 尭, 小林 邦和, 間普 真吾
  • Journal Title: 電気学会論文誌 Volume: Vol.134-C Pages: 印刷中
  • Peer Reviewed
• [Journal Article] ニューロファジィ型強化学習システムを用いた群行動の獲得 (2013)
  • Author(s): 呉本 尭, 山野 祐樹, 馮 良炳, 小林 邦和, 大林 正直
  • Journal Title: 電気学会論文誌 Volume: 133-C Pages: 1076-1085
  • Peer Reviewed
• [Journal Article] QoS Optimization for Web Service Composition Based on Reinforcement Learning (2013)
  • Author(s): Feng, L., Obayashi, M., Kuremoto, T., Kobayashi, K., and Watanabe, S.
  • Journal Title: International Journal of Innovative Computing, Information and Control Volume: 9 Pages: 2361-2376
  • Peer Reviewed
• [Journal Article] 小脳パーセプトロン改良モデル利用型ロバスト制御システム (2013)
  • Author(s): 内山 祥吾, 大林 正直, 呉本 尭, 小林 邦和
  • Journal Title: 電気学会論文誌 Volume: 133-C Pages: 1251-1258
  • Peer Reviewed
• [Journal Article] An Improved Reinforcement Learning System Using Affective Factors (2013)
  • Author(s): Kuremoto, T., Tsurusaki, T., Kobayashi, K., Mabu, S., and Obayashi, M.
  • Journal Title: Robotics Volume: 2 Pages: 149-164
  • Peer Reviewed
• [Journal Article] A Gesture Recognition System with Retina-V1 Model and One-pass Dynamic Programming (2013)
  • Author(s): Kuremoto, T., Kinoshita, Y., Feng, L., Watanabe, S., Kobayashi, K., and Obayashi, M.
  • Journal Title: Neurocomputing Volume: 116 Pages: 291-300
  • Peer Reviewed
• [Journal Article] A Method for Analyzing the Spatiotemporal Changes of Chaotic Neural Networks (2013)
  • Author(s): Watanabe, S., Kuremoto, T., Kobayashi, K., and Obayashi, M.
  • Journal Title: Artificial Life and Robotics Volume: 18 Pages: 196-203
  • Peer Reviewed
• [Journal Article] A Model of Emotional Intelligent Agent for Cooperative Goal Exploration (2013)
  • Author(s): Kuremoto, T., Tsurusaki, T., Kobayashi, K., Mabu, S., and Obayashi, M.
  • Journal Title: Lecture Notes in Computer Science Volume: 7995 Pages: 21-30
  • Peer Reviewed
• [Presentation] ヒューマン‐ロボットインタラクションの新展開 (2014)
  • Author(s): 小林 邦和
  • Organizer: 電気学会システム研究会資料
  • Place of Presentation: 千葉市
  • Year and Date: 20140310-20140310
• [Presentation] Cooperative Action Acquisition Based on Intention Estimation Method in a Multi-agent Reinforcement Learning System (2014)
  • Author(s): Tsubakimoto, T., Kobayashi, K.
  • Organizer: Proceedings of the International Conferrence on Artificial Life and Robotics (ICAROB2014)
  • Place of Presentation: Oita, Japan
  • Year and Date: 20140111-20140113
• [Presentation] An Action Selection Method Using Degree of Cooperation in a Multi-agent System (2014)
  • Author(s): Kawamura, M., Kobayashi, K.
  • Organizer: Proceedings of the International Conferrence on Artificial Life and Robotics (ICAROB2014)
  • Place of Presentation: Oita, Japan
  • Year and Date: 20140111-20140113
• [Presentation] The Recollection Characteristics of Generalized MCNN Using Different Control Methods (2014)
  • Author(s): Watanabe, S., Kuremoto, T., Mabu, S., Obayashi, M., and , Kobayashi, K.
  • Organizer: Proceedings of the International Conferrence on Artificial Life and Robotics (ICAROB2014)
  • Place of Presentation: Oita, Japan
  • Year and Date: 20140111-20140113
• [Presentation] Decision Making System of Robots introducing a Re-construction of Emotions Based on Their Own Experiences (2014)
  • Author(s): Watada, S., Obayashi, M., Kuremoto, T., Mabu, S., and Kobayashi, K.
  • Organizer: Proceedings of the International Conferrence on Artificial Life and Robotics (ICAROB2014)
  • Place of Presentation: Oita, Japan
  • Year and Date: 20140111-20140113
• [Presentation] A Method to Estimate Ball's State of Spin by Image Processing for Strategic Learning in RoboCup Small-Size-robot League (2014)
  • Author(s): Nunome, Y., Murakami, K., Ito, M., Kobayashi, K., and Naruse, T.
  • Organizer: Proceedings of the International Workshop on Advanced Image Technology (IWAIT2014)
  • Place of Presentation: Bangkok, Thailand
  • Year and Date: 20140106-20140108
• [Presentation] 非対称近傍関数を持つG-SOMおよびそれを用いたロボットの手形状命令学習システム (2013)
  • Author(s): 大谷 拓寛, 呉本 尭, 小林 邦和, 間普 真吾, 大林 正直
  • Organizer: 計測自動制御学会コンピューテーショナル・インテリジェンス研究会
  • Place of Presentation: 福岡市
  • Year and Date: 20131204-20131205
• [Presentation] 経験に基づく情動の再構成を導入したロボットの行動選択システム (2013)
  • Author(s): 綿田 将悟, 大林 正直, 呉本 尭, 間普 真吾, 小林 邦和
  • Organizer: 計測自動制御学会コンピューテーショナル・インテリジェンス研究会
  • Place of Presentation: 福岡市
  • Year and Date: 20131204-20131205
• [Presentation] 報酬の解釈を導入したマルチエージェント強化学習システムにおける協調行動の獲得 (2013)
  • Author(s): 椿本 樹矢, 小林 邦和
  • Organizer: 計測自動制御学会コンピューテーショナル・インテリジェンス研究会
  • Place of Presentation: 福岡市
  • Year and Date: 20131204-20131205
• [Presentation] マルチエージェント環境における協調度を用いた行動選択法 (2013)
  • Author(s): 河村 将範, 小林 邦和
  • Organizer: 計測自動制御学会コンピューテーショナル・インテリジェンス研究会
  • Place of Presentation: 福岡市
  • Year and Date: 20131204-20131205
• [Presentation] An Innovative Mental Task Classification Method with a Hierarchical Structure Based on EEG Data (2013)
  • Author(s): Obayashi, M., Shinkawa, M., Kuremoto, T., Kobayashi, K., and Mabu, S.
  • Organizer: Proceedings of International Conference on Innovative Application Research and Education (ICIARE2013)
  • Place of Presentation: Dalian, China
  • Year and Date: 20131203-20131204
• [Presentation] Innovative Practice of Robotics Education using LEGO Mindstorm NXT (2013)
  • Author(s): Kuremoto, T., Watanabe, S., Kobayashi, K., Mabu, S., and Obayashi, M.
  • Organizer: Proceedings of International Conference on Innovative Application Research and Education (ICIARE2013)
  • Place of Presentation: Dalian, China
  • Year and Date: 20131203-20131204
• [Presentation] The Recollection Characteristics of Generalized MCNN Using Different Control Methods (2013)
  • Author(s): Watanabe, S., Kuremoto, T., Kobayashi, K., Mabu, S., and Obayashi, M.
  • Organizer: Proceedings of International Conference on Innovative Application Research and Education (ICIARE2013)
  • Place of Presentation: Dalian, China
  • Year and Date: 20131203-20131204
• [Presentation] マルチエージェント環境における協調度を用いた行動決定法 (2013)
  • Author(s): 河村 将範, 小林 邦和
  • Organizer: 第11回情報学ワークショップ(WiNF2013)
  • Place of Presentation: 名古屋市
  • Year and Date: 20131130-20131201
• [Presentation] マルチエージェント強化学習システムにおける意図推定を用いた協調行動の獲得 (2013)
  • Author(s): 椿本 樹矢, 小林 邦和
  • Organizer: 第11回情報学ワークショップ(WiNF2013)
  • Place of Presentation: 名古屋市
  • Year and Date: 20131130-20131201
• [Presentation] 情動形成に基づく行動選択システムとその実機ロボットへの応用 (2013)
  • Author(s): 綿田 将悟, 大林 正直, 呉本 尭, 小林 邦和, 間普 真吾
  • Organizer: 第22回計測自動制御学会中国支部学術講演会
  • Place of Presentation: 宇部市
  • Year and Date: 20131130-20131130
• [Presentation] 複数環境に対応可能な自律移動ロボットシステム (2013)
  • Author(s): 山根 大樹, 大林 正直, 呉本 尭, 小林 邦和, 間普 真吾
  • Organizer: 第22回計測自動制御学会中国支部学術講演会
  • Place of Presentation: 宇部市
  • Year and Date: 20131130-20131130
• [Presentation] Neuro-Fuzz型強化学習システムによる知的エージェントの行動学習 (2013)
  • Author(s): 椿 和大, 呉本 尭, 大林 正直, 小林 邦和, 間普 真吾
  • Organizer: 第22回計測自動制御学会中国支部学術講演会
  • Place of Presentation: 宇部市
  • Year and Date: 20131130-20131130
• [Presentation] PSOを用いたカオス的海馬－新皮質モデルの長期記憶形成に関する研究 (2013)
  • Author(s): 渡邊 駿, 呉本 尭, 小林 邦和, 間普 真吾, 大林 正直
  • Organizer: 第22回計測自動制御学会中国支部学術講演会
  • Place of Presentation: 宇部市
  • Year and Date: 20131130-20131130
• [Presentation] 色彩特徴による情動を考慮した強化学習システム (2013)
  • Author(s): 宇都 駿佑, 大林 正直, 呉本 尭, 間普 真吾, 小林 邦和
  • Organizer: 第22回計測自動制御学会中国支部学術講演会
  • Place of Presentation: 宇部市
  • Year and Date: 20131130-20131130
• [Presentation] ニューラルネットワークを用いたステレオ画像における被写体距離の決定法 (2013)
  • Author(s): 下司 拓也, 大林 正直, 呉本 尭, 間普 真吾, 小林 邦和
  • Organizer: 第22回計測自動制御学会中国支部学術講演会
  • Place of Presentation: 宇部市
  • Year and Date: 20131130-20131130
• [Presentation] 情動を用いたロボットの経路決定法の考案 (2013)
  • Author(s): 岸 達也, 大林 正直, 呉本 尭, 間普 真吾, 小林 邦和
  • Organizer: 第22回計測自動制御学会中国支部学術講演会
  • Place of Presentation: 宇部市
  • Year and Date: 20131130-20131130
• [Presentation] 非線形ダイナミクスを持つエージェント群によるターゲットの知的追従制御方式 (2013)
  • Author(s): 石川 幸平, 大林 正直, 小林 邦和, 呉本 尭, 間普 真吾
  • Organizer: 第22回計測自動制御学会中国支部学術講演会
  • Place of Presentation: 宇部市
  • Year and Date: 20131130-20131130
• [Presentation] 非対称GSOMを用いた手形状指令学習システムの構築に関する研究 (2013)
  • Author(s): 大谷 拓寛, 呉本 尭, 小林 邦和, 間普 真吾, 大林 正直
  • Organizer: 第22回計測自動制御学会中国支部学術講演会
  • Place of Presentation: 宇部市
  • Year and Date: 20131130-20131130
• [Presentation] RBMとMLPを用いたDBNによる時系列予測に関する研究 (2013)
  • Author(s): 平田 貴臣, 呉本 尭, 大林 正直, 間普 真吾, 小林 邦和
  • Organizer: 第22回計測自動制御学会中国支部学術講演会
  • Place of Presentation: 宇部市
  • Year and Date: 20131130-20131130
• [Presentation] Elman型RNNPBを用いたヒューマノイドロボットの教示学習に関する研究 (2013)
  • Author(s): 森崎 啓太, 呉本 尭, 間普 真吾, 小林 邦和, 大林 正直
  • Organizer: 第22回計測自動制御学会中国支部学術講演会
  • Place of Presentation: 宇部市
  • Year and Date: 20131130-20131130
• [Presentation] RBMを用いたDeep Belief Netによるカオス時系列予測 (2013)
  • Author(s): 徳田 慎太郎, 呉本 尭, 間普 真吾, 小林 邦和, 大林 正直
  • Organizer: 第22回計測自動制御学会中国支部学術講演会
  • Place of Presentation: 宇部市
  • Year and Date: 20131130-20131130
• [Presentation] マルチエージェントシステムにおける協調度を用いた行動決定法 (2013)
  • Author(s): 河村 将範, 小林 邦和
  • Organizer: 電気学会システム研究会資料
  • Place of Presentation: 名古屋市
  • Year and Date: 20131124-20131124
• [Presentation] 意図推定法を用いたマルチエージェント強化学習システムにおける協調行動の獲得 (2013)
  • Author(s): 椿本 樹矢, 小林 邦和
  • Organizer: 電気学会システム研究会資料
  • Place of Presentation: 名古屋市
  • Year and Date: 20131124-20131124
• [Presentation] Adaptive Control System Based on Self-organizing Wavelet Neural Network with Tracking Performance Compensator (2013)
  • Author(s): Obayashi, M., Kamikariya, T., Uchiyama, S., Watada, S., Kuremoto, T., Mabu, S., and Kobayashi, K.
  • Organizer: Proceedings of International Conference on Systems, Man and Cybernetics (SMC2013)
  • Place of Presentation: Manchester, U.K.
  • Year and Date: 20131013-20131016
• [Presentation] マルチエージェントシステムにおける協調度を用いた行動選択法 (2013)
  • Author(s): 河村 将範, 小林 邦和
  • Organizer: 平成25年度電気関係学会東海支部連合大会
  • Place of Presentation: 浜松市
  • Year and Date: 20130924-20130925
• [Presentation] kinectを用いたRNNPBによる行動時系列の生成 (2013)
  • Author(s): 榊原 純也, 小林 邦和
  • Organizer: 平成25年度電気関係学会東海支部連合大会
  • Place of Presentation: 浜松市
  • Year and Date: 20130924-20130925
• [Presentation] 意図推定を用いたマルチエージェント強化学習システムにおける協調行動の獲得 (2013)
  • Author(s): 椿本 樹矢, 小林 邦和
  • Organizer: 平成25年度電気関係学会東海支部連合大会
  • Place of Presentation: 浜松市
  • Year and Date: 20130924-20130925
• [Presentation] The Recollection Characteristics of a Generalized MCNN (2013)
  • Author(s): Watanabe, S., Kuremoto, T., Kobayashi, K., Mabu, S., and Obayashi, M.
  • Organizer: Proceedings of International Conference on Instrumentation, Control and Information Technology (SICE Annual Conference 2013)
  • Place of Presentation: Nagoya, Japan
  • Year and Date: 20130914-20130917
• [Presentation] マルコフ情動モデルを備えたロボットの行動決定法 (2013)
  • Author(s): 綿田 将悟, 大林 正直, 呉本 尭, 間普 真吾, 小林 邦和
  • Organizer: 電子・情報・システム部門大会
  • Place of Presentation: 北見市
  • Year and Date: 20130904-20130906
• [Presentation] 技術シーズ創出に向けた機械学習の新展開 (2013)
  • Author(s): 小林 邦和
  • Organizer: 電子・情報・システム部門大会
  • Place of Presentation: 北見市
  • Year and Date: 20130904-20130906
• [Presentation] Decentralized Adaptive Control Using an Affine plus Self-organizing Fuzzy Neural Network for Multi-Agent System Consensus Problem (2013)
  • Author(s): Obayashi, M., Otomi, Y., Kuremoto, T., Kobayashi, K., and Mabu, S., , , pp.247-252, 2013
  • Organizer: Proceedings of the IEEE International Conference on System Science and Engineering (ICSSE2013)
  • Place of Presentation: Budapest, Hungary
  • Year and Date: 20130704-20130706
• [Presentation] RoboCup 小型ロボットリーグにおける相手戦略の分析と学習 (2013)
  • Author(s): 安井 興太郎, 小林 邦和, 村上 和人, 成瀬 正
  • Organizer: 第37回人工知能学会AIチャレンジ研究会
  • Place of Presentation: 町田市
  • Year and Date: 20130505-20130505
• [Presentation] ロボカップ小型リーグにおける戦略改善のための画像処理によるボールの回転状態の推定 (2013)
  • Author(s): 布目 裕司, 村上 和人, 小林 邦和, 成瀬 正
  • Organizer: 第37回人工知能学会AIチャレンジ研究会
  • Place of Presentation: 町田市
  • Year and Date: 20130505-20130505
• [Remarks] 愛知県立大学 情報科学部 情報科学科 小林邦和
  • URL: http://www.ist.aichi-pu.ac.jp/~koba/