脳に範をとる記号処理システム -文法の処理と獲得の統一モデル-

2003 Fiscal Year Annual Research Report

• Project/Area Number: 15500095
• Research Institution: Keio University
• Principal Investigator: 櫻井 彰人 慶應義塾大学, 理工学部, 教授 (00303339)
• Keywords: 言語モデル / 強化学習 / 機械学習

Research Abstract

本年度は、格フレームの新しい実装である、FrameNet IIを用いた様々な意味表現実験、random indexingを用いたコーパスからの単語意味表現獲得、構文解析モジュールの並列学習について、研究を行った。ここではこれらのうち、構文解析モジュールの並列学習について報告する。
実際の人間の言語処理は、外部から観察する限り、複数の処理機構が並列し、競合しながら、妥当な解釈・生成を行っているように見える。これを構文解析モジュールで行うことを研究した。
従来、多数の神経素子間の競合を基本情報処理機構として作られたモデルはある(これを発展させれば多数の人工神経回路網による処理モデルとなる)。KohonenのSOM(self-organizing map)はその代表である。このように単純な素子を基本とするとき、競合学習を行わせることはできる。しかし、個々の素子をモジュールで置き換えた、多数の人工神経回路網によるモデルでは、その学習は、予め目的を設けての学習(すなわちモジュールごとに役目を固定しての学習、例えば、Miikkulainen 1991)のみが研究されている。しかし、モジュールごとに役目を固定し教師あり学習を行うことは、教師信号を与えようがない現実の言語獲得を説明することはできない。そこで、多くの人工神経回路網による並列処理・学習モデルを新たに構築する必要があった。
人工神経回路網における学習モデルとしては、教師あり学習を用いることが多い。しかし、言語学習のように正解が必ずしも与えられないような環境では、教師なし学習を試みる他にない。教師なし学習については強化学習手法が有名であり、脳のモデルとしては、その中でもactor-critic型の学習機構が用いられ、小脳や大脳の運動学習モデルとして成功している。そこで、複数の強化学習エージェントがあり、しかも、的確になりうるモジュールが複数あるという枠組みでの学習アルゴリズムを検討した。この結果、複数の強化学習エージェントが競合しながら学習する機構を考案し、シミュレーションでその有効性を確認した。その成果の一部は既に学会誌に投稿済みである。