強化学習による思考・推論のモデル化

1998 Fiscal Year Annual Research Report

• Project/Area Number: 10164237
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: 石川 眞澄 九州工業大学, 情報工学部, 教授 (60222973)
• Co-Investigator(Kenkyū-buntansha): 章 宏 九州工業大学, 情報工学部, 助手 (30235709)
• Keywords: ニューラルネットワーク / 思考・推論モデル / 強化学習 / ウィスコンシンカードソーティングテスト / 被験者実験

Research Abstract

第一にWisconsin Card Sorting Test(WCST)の被験者実験を行うため、ワークステーション上に既に構築済みの被験者実験システムを改良し、慶応大学版のWCSTが実現できるようにした。第二に、この実験システムを用いて24人の被験者に対して被験者実験を行なった。第三に、既に構築済みのWCSTの思考・推論モデルを改良し、モデルのいわゆるハイパーパラメータを推定することによりモデルの調整を行った。
WCSTの思考モデルとして、正答が得られた場合にはこれを強化し他の解を弱め、逆に誤答が得られた場合にはこれを弱め他の解を強化するという強化学習の枠組みを用いる。何故ならば、被験者には正誤のみが教えられるからである。
このモデルを用いて、これに含まれる3種類のハイパーパラメータ(正答時の強化率、誤答時の強化率、一枚のカードに対する学習回数上限)を、被験者実験結果を最も再現する値に調整する。ただし、ここでの再現とは、種々の指標が実験とモデルで一致することである。一例として、正常な被験者の場合には、正答時の強化率45、誤答時の強化率30、学習回数上限3であり、指標値の実験結果からのずれの自乗誤差評価値は3である。他方前頭葉損傷患者の場合には、正答時の強化率15、誤答時の強化率10、学習回数上限1であり、指標の実験結果からのずれの自乗誤差評価値は20である。
前頭葉損傷患者の場合には、強化率が正常な被験者の3分の1程度であり、これが過去の規制あるいは誤回答にとらわれて誤りが多くなる一因であることが示唆された。

Research Products

• [Publications] 古賀陽一,石川眞澄: "強化学習に基づく推論・思考のモデル化‐‐‐‐Wisconsin Card Sorting Testを対象として‐‐‐‐" 電子情報通信学会技術研究報告.ニューロコンピューティング研究会. (1999)
• [Publications] Masumi Ishikawa: "Rule extraction by structural learning with an immediate critic" Journal of Advanced Computational Intelligence.