• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

脳に範をとる記号処理システム-文法の表現と学習-

研究課題

研究課題/領域番号 13680438
研究種目

基盤研究(C)

配分区分補助金
応募区分一般
研究分野 知能情報学
研究機関慶應義塾大学

研究代表者

櫻井 彰人  慶應義塾大学, 理工学部, 教授 (00303339)

研究期間 (年度) 2001 – 2002
研究課題ステータス 完了 (2002年度)
配分額 *注記
3,100千円 (直接経費: 3,100千円)
2002年度: 1,500千円 (直接経費: 1,500千円)
2001年度: 1,600千円 (直接経費: 1,600千円)
キーワード再帰型神経回路網 / 言語モデル / counter言語 / 機械学習 / 確率的学習アルゴリズム
研究概要

研究過程で、そもそも再帰的神経回路網の表現能力に関して、一般に考えられているよりはるかに制限された能力しかないのではないかとの疑問が生まれ、それを肯定する結果とそれに対する対応(能力が制限されているのに何故学習可能か?また逆にそれを克服するにはどうするか)に対する知見が得られた。
(a)耐ノイズ性を多少とも要求すると、一般的なcounterは学習できず、従ってstackも学習できないことを理論的に示した。これに対し、single-turn counter(一度減算を始めると以降減算のみが可能なcounter)は実現できることを構成的に示した。これにより、再帰型神経回路網はある程度の学習は可能であるが、'single-turn counter'+有限状態オートマトンより大きな表現能力は持ち得ず、従って、最近研究報告が増加しているcounterが獲得できたという結果さえ実は、数値実験に依存する結果であることを示した。
(b)従って、原理的には'single-turn counter'+有限状態オートマトンが学習できるのみである。しかし、有限状態オートマトンの学習は適当な学習バイアスがない限り不可能であり(既知)、再帰型神経回路網による学習では、実際に獲得されたものの同定が理論上不可能である(既知)。そこで、各素子をその動作が離散状態である古典的なパーセプトロンとした再帰結合型神経回路網に対する確率的学習アルゴリズム(新規)を考案し、自然な学習バイアスにより有限状態オートマトンが学習可能となり、またその抽出が可能なことを示した。このアルゴリズムの性格には未知なことが多いが、確率1での収束は保証されている(収束までの平均時間は無限大の可能性がある)。
(c)single-turn counterを用いた有限状態オートマトンが解釈可能な文法体系の特徴づけを行った。それは、counterの数に応じた階層構造をもち、Chomsky階層とは独立のものである。

報告書

(3件)
  • 2002 実績報告書   研究成果報告書概要
  • 2001 実績報告書
  • 研究成果

    (10件)

すべて その他

すべて 文献書誌 (10件)

  • [文献書誌] Akito Sakurai: "A Fast and Convergent Stochastic MLP Learning Algorithm"International Journal of Neural Systems. 11. 573-584 (2001)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2002 研究成果報告書概要
  • [文献書誌] Akito Sakurai, Daisuke Hyodo: "Simple recurrent neural networks and random indexing"Proc. International Conference on Information Processing. (2002)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2002 研究成果報告書概要
  • [文献書誌] T.Harada, O.Araki, A.Sakurai: "Learning Context-Free Grammars with Recurrent Neural Networks"Proc. International Joint Conference on Neural Networks. 2602-2607 (2001)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2002 研究成果報告書概要
  • [文献書誌] Akito,Sakurai: "A Fast and Convergent Stochastic MLP Learning Algorithm"International Journal of Neural Systems. vo.11. 573-584 (2001)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2002 研究成果報告書概要
  • [文献書誌] Akito,Sakurai, Daisuke,Hyodo: "Simple recurrent neural networks and random indexing"Proc. International Conference on Information. Processing,in CDROM, unnumbered. (2002)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2002 研究成果報告書概要
  • [文献書誌] T,Harada, O,Araki, A,Sakurai: "Learning Context-Free Grammars with Recurrent Neural Networks"Proc. International Joint Conference on Neural Networks. 2602-2607 (2001)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2002 研究成果報告書概要
  • [文献書誌] Akito Sakurai: "A Fast and Convergent Stochastic MLP Learning Algorithm"International Journal of Neural Systems. 11. 573-584 (2001)

    • 関連する報告書
      2002 実績報告書
  • [文献書誌] Akito Sakurai, Daisuke Hyodo: "Simple recurrent neural networks and random indexing"Proc. International Conference on Information Processing. (CD-ROM). (2002)

    • 関連する報告書
      2002 実績報告書
  • [文献書誌] T.Harada, O.Araki, A.Sakurai: "Learning Context-Free Grammars with Recurrent Neural Networks"Proc. International Joint Conference on Neural Networks. 2602-2607 (2001)

    • 関連する報告書
      2002 実績報告書
  • [文献書誌] Akito Sakurai: "A Fast and Convergent Stochastic MLP Learning Algorithm"International Journal of Neural Systems. 11巻6号. 573-583 (2001)

    • 関連する報告書
      2001 実績報告書

URL: 

公開日: 2001-04-01   更新日: 2016-04-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi