• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

内発的動機付けと社会性の統合による自然強化学習の実現

研究課題

研究課題/領域番号 20H04259
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分61040:ソフトコンピューティング関連
研究機関東京電機大学

研究代表者

高橋 達二  東京電機大学, 理工学部, 教授 (00514514)

研究分担者 甲野 佑  東京電機大学, 理工学部, 研究員 (10870313)
玉造 晃弘  東京電機大学, 理工学部, 研究員 (10876361)
太田 宏之  防衛医科大学校(医学教育部医学科進学課程及び専門課程、動物実験施設、共同利用研究施設、病院並びに防衛, 薬理学, 講師 (20535190)
浦上 大輔  日本大学, 生産工学部, 准教授 (40458196)
大用 庫智  関西学院大学, 総合政策学部, 講師 (60755685)
研究期間 (年度) 2020-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
17,810千円 (直接経費: 13,700千円、間接経費: 4,110千円)
2022年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
2021年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
2020年度: 7,410千円 (直接経費: 5,700千円、間接経費: 1,710千円)
キーワード強化学習 / 満足化 / 限定合理性 / 動物実験 / 機械学習 / 社会学習 / 因果推論 / 自然知能 / 天然知能 / 模倣 / バンディット問題 / 深層強化学習 / 採餌行動 / 行動経済学 / 模倣学習
研究開始時の研究の概要

囲碁やビデオゲームなどで人間を上回る性能を見せている「人工強化学習」に対して、人間や動物の社会性や動機付け、環境の探索方法を組み込んだ「自然強化学習」を提案する。人工強化学習では、無数の致命的な失敗(=死)なしには学習が行えず、大量の個体集合で解決を図る。他方人間や多くの動物は、他個体の学習状況を観察して自らの内発的・外発的動機付けを調整し、結果、無駄な死も避ける。社会性を組み込んだ高効率な「自然強化学習」の理論とモデルを構築し、それを動物や人間の実験で検証するとともに、工学的な応用も実現する。

研究成果の概要

本研究では、報酬、動機づけ、計算理論的な問題定式化、そして社会性の観点から、強化学習理論の見直しを行い、人間や動物の扱う「自然強化学習」の長所を強化学習アルゴリズムに採り入れた。成果として、理論的には主観リグレット概念による、限定合理性・意思決定・採餌理論の統合に成功した。産業的な応用も行った他、不確実性の下でのエミュレーション的な社会学習の原理を定式化した。マウスに関しては本研究の理論を一般化しうる興味深い結果を得た。

研究成果の学術的意義や社会的意義

人間や動物がどのように不確実な環境において学習しているかについての知見を深めました。これは今後、教育、訓練、社会活動などをどのように行うべきかについて指針を与える可能性があります。また、ChatGPTなどが人間と対話できるようにするために肝要な強化学習技術について、学習の目標を定めれば、それに向かって非常に効率的に学習を行えるようになりました。これは、生成AI、ゲーム技術、ロボット制御などにおいて広範な応用を得る可能性があります。

報告書

(4件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実績報告書
  • 2020 実績報告書
  • 研究成果

    (23件)

すべて 2023 2022 2021 2020

すべて 雑誌論文 (9件) (うち国際共著 2件、 査読あり 9件、 オープンアクセス 9件) 学会発表 (13件) 図書 (1件)

  • [雑誌論文] Causal intuition in the indefinite world: Meta-analysis and simulations2023

    • 著者名/発表者名
      Higuchi Kohki、Oyo Kuratomo、Takahashi Tatsuji
    • 雑誌名

      Biosystems

      巻: 225 ページ: 104842-104842

    • DOI

      10.1016/j.biosystems.2023.104842

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Softsatisficing: Risk-sensitive softmax action selection2022

    • 著者名/発表者名
      Kamiya Takumi、Takahashi Tatsuji
    • 雑誌名

      Biosystems

      巻: 213 ページ: 104633-104633

    • DOI

      10.1016/j.biosystems.2022.104633

    • 関連する報告書
      2021 実績報告書 2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Conveying Intention by Motions With Awareness of Information Asymmetry2022

    • 著者名/発表者名
      Fukuchi Yosuke、Osawa Masahiko、Yamakawa Hiroshi、Takahashi Tatsuji、Imai Michita
    • 雑誌名

      Frontiers in Robotics and AI

      巻: 9 ページ: 783863-783863

    • DOI

      10.3389/frobt.2022.783863

    • 関連する報告書
      2021 実績報告書 2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 不定自然変換理論に基づく比喩理解モデルの計算論的実装の試み2021

    • 著者名/発表者名
      池田 駿介、布山 美慕、西郷 甲矢人、高橋 達二
    • 雑誌名

      認知科学

      巻: 28 号: 1 ページ: 39-56

    • DOI

      10.11225/cs.2020.065

    • NAID

      130007998460

    • ISSN
      1341-7924, 1881-5995
    • 年月日
      2021-03-01
    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] The asymmetric learning rates of murine exploratory behavior in sparse reward environments2021

    • 著者名/発表者名
      Ohta Hiroyuki、Satori Kuniaki、Takarada Yu、Arake Masashi、Ishizuka Toshiaki、Morimoto Yuji、Takahashi Tatsuji
    • 雑誌名

      Neural Networks

      巻: 143 ページ: 218-229

    • DOI

      10.1016/j.neunet.2021.05.030

    • 関連する報告書
      2021 実績報告書 2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Self-incremental learning vector quantization with human cognitive biases2021

    • 著者名/発表者名
      Manome Nobuhito、Shinohara Shuji、Takahashi Tatsuji、Chen Yu、Chung Ung-il
    • 雑誌名

      Scientific Reports

      巻: 11 号: 1 ページ: 3910-3910

    • DOI

      10.1038/s41598-021-83182-4

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A category theoretic approach to metaphor comprehension: Theory of indeterminate natural transformation2020

    • 著者名/発表者名
      Fuyama Miho、Saigo Hayato、Takahashi Tatsuji
    • 雑誌名

      Biosystems

      巻: 197 ページ: 104213-104213

    • DOI

      10.1016/j.biosystems.2020.104213

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A new method of Bayesian causal inference in non-stationary environments2020

    • 著者名/発表者名
      Shinohara Shuji、Manome Nobuhito、Suzuki Kouta、Chung Ung-il、Takahashi Tatsuji、Okamoto Hiroshi、Gunji Yukio Pegio、Nakajima Yoshihiro、Mitsuyoshi Shunji
    • 雑誌名

      PLOS ONE

      巻: 15 号: 5 ページ: e0233559-e0233559

    • DOI

      10.1371/journal.pone.0233559

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Extended Bayesian inference incorporating symmetry bias2020

    • 著者名/発表者名
      Shinohara Shuji、Manome Nobuhito、Suzuki Kouta、Chung Ung-il、Takahashi Tatsuji、Gunji Pegio-Yukio、Nakajima Yoshihiro、Mitsuyoshi Shunji
    • 雑誌名

      Biosystems

      巻: 190 ページ: 104104-104104

    • DOI

      10.1016/j.biosystems.2020.104104

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] 発話者間の関係性が条件推論の抑制に及ぼす影響 -ポライトネス理論に基づく検討-2023

    • 著者名/発表者名
      小倉那央,高橋達二,中村紘子
    • 学会等名
      IPSJ2023
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 未来考慮型の信頼度に基づく合目的強化学習2023

    • 著者名/発表者名
      有村柊一,南 朱音,甲野 佑,高橋達二
    • 学会等名
      IPSJ2023
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 複数の満足化エージェント間のわずかな情報共有による分業と最適性2022

    • 著者名/発表者名
      和田 拓真, 高橋 達二
    • 学会等名
      JSAI2022
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 理想基準値を用いた確率的満足化方策2022

    • 著者名/発表者名
      加藤 暦雄, 甲野 佑, 高橋 達二
    • 学会等名
      JSAI2022
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 信頼度を局所的に近似する認知的満足化方策2022

    • 著者名/発表者名
      南 朱音, 甲野 佑, 高橋 達二
    • 学会等名
      JSAI2022
    • 関連する報告書
      2022 実績報告書
  • [学会発表] スケール可能かつシンプルな深層強化学習検証タスクの開発2022

    • 著者名/発表者名
      池田 龍司, 南 朱音, 甲野 佑, 高橋 達二
    • 学会等名
      JSAI2022
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 不定自然変換理論の動的特性2022

    • 著者名/発表者名
      横須賀 天臣, 布山 美慕, 西郷 甲矢人, 高橋 達二
    • 学会等名
      JSAI2022
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 確率的満足化における最適な基準値の動的推定2022

    • 著者名/発表者名
      久米 淳, 鈴木 裕毅, 加藤 暦雄, 甲野 祐, 高橋 達二
    • 学会等名
      JSAI2022
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 希求水準の達成度合いを考慮する自然強化学習2022

    • 著者名/発表者名
      越川 駿平, 有村 柊一, 若林 洋尭, 甲野 佑, 高橋 達二
    • 学会等名
      JSAI2022
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 思考スタイルの個人差が条件推論に及ぼす影響の検討2022

    • 著者名/発表者名
      横須賀 天臣, 渡邊 元樹, 高橋 達二, 中村 紘子
    • 学会等名
      JCSS2022
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 人間の因果的直感に基づく因果探索アルゴリズム2022

    • 著者名/発表者名
      樋口 滉規, 高橋 達二
    • 学会等名
      JCSS2022
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 追試とメタ分析による因果帰納推論モデルの適合性評価2022

    • 著者名/発表者名
      林 涼太, 市野 弘人, 樋口 滉規, 高橋 達二
    • 学会等名
      JCSS2022
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 不定自然変換理論とWord2Vecを用いた比喩生成2022

    • 著者名/発表者名
      阿久津 規介, 池田 駿介, 布山 美慕, 西郷 甲矢人, 高橋 達二
    • 学会等名
      JCSS2022
    • 関連する報告書
      2022 実績報告書
  • [図書] Logic and Uncertainty in the Human Mind2020

    • 著者名/発表者名
      Takahashi Tatsuji、Oyo Kuratomo、Tamatsukuri Akihiro、Higuchi Kohki
    • 総ページ数
      20
    • 出版者
      Routledge
    • 関連する報告書
      2020 実績報告書

URL: 

公開日: 2020-04-28   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi