• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

内発的動機付けと社会性の統合による自然強化学習の実現

研究課題

研究課題/領域番号 20H04259
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分61040:ソフトコンピューティング関連
研究機関東京電機大学

研究代表者

高橋 達二  東京電機大学, 理工学部, 教授 (00514514)

研究分担者 甲野 佑  東京電機大学, 理工学部, 講師 (10870313)
玉造 晃弘  東京電機大学, 理工学部, 研究員 (10876361)
太田 宏之  防衛医科大学校(医学教育部医学科進学課程及び専門課程、動物実験施設、共同利用研究施設、病院並びに防衛, 薬理学, 講師 (20535190)
浦上 大輔  日本大学, 生産工学部, 准教授 (40458196)
大用 庫智  関西学院大学, 総合政策学部, 講師 (60755685)
研究期間 (年度) 2020-04-01 – 2023-03-31
研究課題ステータス 交付 (2022年度)
配分額 *注記
17,810千円 (直接経費: 13,700千円、間接経費: 4,110千円)
2022年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
2021年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
2020年度: 7,410千円 (直接経費: 5,700千円、間接経費: 1,710千円)
キーワード強化学習 / 満足化 / 採餌行動 / 社会学習 / 行動経済学 / バンディット問題 / 模倣学習 / 限定合理性
研究開始時の研究の概要

囲碁やビデオゲームなどで人間を上回る性能を見せている「人工強化学習」に対して、人間や動物の社会性や動機付け、環境の探索方法を組み込んだ「自然強化学習」を提案する。人工強化学習では、無数の致命的な失敗(=死)なしには学習が行えず、大量の個体集合で解決を図る。他方人間や多くの動物は、他個体の学習状況を観察して自らの内発的・外発的動機付けを調整し、結果、無駄な死も避ける。社会性を組み込んだ高効率な「自然強化学習」の理論とモデルを構築し、それを動物や人間の実験で検証するとともに、工学的な応用も実現する。

研究実績の概要

本研究の実施項目は、大別して (T) 自然強化学習理論の理論的確立 (S) 社会学習の新しいモデリング (A) 応用における有効性の実証 (X) 理論の実験的検証 (人間・マウスなど) である。それぞれ、ジャーナル論文が 5, 1, 1, 2 編ずつ出版された。(T)においては、主観リグレットという概念により、限定合理性理論のモデルである満足化の実装、プロスペクト理論的な現象(リスク態度の反射効果)、合理的な採餌行動などの現象が再現できることが分かり、大きな進展があった。 (S) では、エミュレーション的競争(コンペティションとは異なる)により、分業が自己組織化されることが分かった。(A)の応用に関しては新しくベクトル量子化においても結果が出た。(X)では、マウスに関して、本研究の理論を一般化しうる興味深い結果が得られた。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

「自然強化学習」に関して、計画以上に理論的に大きな進展と社会学習の新しいモデリングが成功した他、共同研究を通じて応用における有効性の実証も行えた。理論の実験的検証についてもマウスについて新しい結果が出、論文は注目を集めている。

今後の研究の推進方策

コロナを理由に延期(繰り越し)を行った実験的研究は実施する。他に関しては順調に進展しており、論文出版を中心に行う。

報告書

(1件)
  • 2020 実績報告書

研究成果

(9件)

すべて 2022 2021 2020

すべて 雑誌論文 (8件) (うち国際共著 2件、 査読あり 8件、 オープンアクセス 7件) 図書 (1件)

  • [雑誌論文] Softsatisficing: Risk-sensitive softmax action selection2022

    • 著者名/発表者名
      Kamiya Takumi、Takahashi Tatsuji
    • 雑誌名

      Biosystems

      巻: 213 ページ: 104633-104633

    • DOI

      10.1016/j.biosystems.2022.104633

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Conveying Intention by Motions With Awareness of Information Asymmetry2022

    • 著者名/発表者名
      Fukuchi Yosuke、Osawa Masahiko、Yamakawa Hiroshi、Takahashi Tatsuji、Imai Michita
    • 雑誌名

      Frontiers in Robotics and AI

      巻: 9 ページ: 783863-783863

    • DOI

      10.3389/frobt.2022.783863

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] The asymmetric learning rates of murine exploratory behavior in sparse reward environments2021

    • 著者名/発表者名
      Ohta Hiroyuki、Satori Kuniaki、Takarada Yu、Arake Masashi、Ishizuka Toshiaki、Morimoto Yuji、Takahashi Tatsuji
    • 雑誌名

      Neural Networks

      巻: 143 ページ: 218-229

    • DOI

      10.1016/j.neunet.2021.05.030

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] Self-incremental learning vector quantization with human cognitive biases2021

    • 著者名/発表者名
      Manome Nobuhito、Shinohara Shuji、Takahashi Tatsuji、Chen Yu、Chung Ung-il
    • 雑誌名

      Scientific Reports

      巻: 11 ページ: 3910-3910

    • DOI

      10.1038/s41598-021-83182-4

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 不定自然変換理論に基づく比喩理解モデルの計算論的実装の試み2021

    • 著者名/発表者名
      池田 駿介、布山 美慕、西郷 甲矢人、高橋 達二
    • 雑誌名

      認知科学

      巻: 28 号: 1 ページ: 39-56

    • DOI

      10.11225/cs.2020.065

    • NAID

      130007998460

    • ISSN
      1341-7924, 1881-5995
    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A category theoretic approach to metaphor comprehension: Theory of indeterminate natural transformation2020

    • 著者名/発表者名
      Fuyama Miho、Saigo Hayato、Takahashi Tatsuji
    • 雑誌名

      Biosystems

      巻: 197 ページ: 104213-104213

    • DOI

      10.1016/j.biosystems.2020.104213

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A new method of Bayesian causal inference in non-stationary environments2020

    • 著者名/発表者名
      Shinohara Shuji、Manome Nobuhito、Suzuki Kouta、Chung Ung-il、Takahashi Tatsuji、Okamoto Hiroshi、Gunji Yukio Pegio、Nakajima Yoshihiro、Mitsuyoshi Shunji
    • 雑誌名

      PLOS ONE

      巻: 15

    • DOI

      10.1371/journal.pone.0233559

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Extended Bayesian inference incorporating symmetry bias2020

    • 著者名/発表者名
      Shinohara Shuji、Manome Nobuhito、Suzuki Kouta、Chung Ung-il、Takahashi Tatsuji、Gunji Pegio-Yukio、Nakajima Yoshihiro、Mitsuyoshi Shunji
    • 雑誌名

      BioSystems

      巻: 190 ページ: 104-104

    • DOI

      10.1016/j.biosystems.2020.104104

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [図書] Logic and Uncertainty in the Human Mind2020

    • 著者名/発表者名
      Takahashi Tatsuji、Oyo Kuratomo、Tamatsukuri Akihiro、Higuchi Kohki
    • 総ページ数
      20
    • 出版者
      Routledge
    • 関連する報告書
      2020 実績報告書

URL: 

公開日: 2020-04-28   更新日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi