多階層表現学習の数理基盤と神経機構の解明

• 研究領域: 人工知能と脳科学の対照と融合
• 研究課題/領域番号: 16H06563
• 研究種目: 新学術領域研究(研究領域提案型)
• 配分区分: 補助金
• 審査区分: 複合領域
• 研究機関: 沖縄科学技術大学院大学
• 研究代表者: 銅谷 賢治 沖縄科学技術大学院大学, 神経計算ユニット, 教授 (80188846)
• 研究期間 (年度): 2016-06-30 – 2021-03-31
• 研究課題ステータス: 完了 (2021年度)
• 配分額: 82,160千円 (直接経費: 63,200千円、間接経費: 18,960千円); 2020年度: 14,560千円 (直接経費: 11,200千円、間接経費: 3,360千円); 2019年度: 14,560千円 (直接経費: 11,200千円、間接経費: 3,360千円); 2018年度: 14,560千円 (直接経費: 11,200千円、間接経費: 3,360千円); 2017年度: 14,560千円 (直接経費: 11,200千円、間接経費: 3,360千円); 2016年度: 23,920千円 (直接経費: 18,400千円、間接経費: 5,520千円)
• キーワード: 強化学習 / 深層学習 / データ効率 / モデルベース / 大脳皮質 / 大脳基底核 / セロトニン / ディープラーニング / モジュール自己組織化 / 表現学習

研究成果の概要

脳にならった新たな人工知能の開発と、人工知能の理論や手法による脳科学の進展という領域のねらいに沿って研究を進めた。よりデータ効率の良い強化学習アルゴリズムの開発と、深層強化学習アルゴリズムのデータ効率の理論解析を行った。
知覚推論や強化学習に関わる大脳皮質と大脳基底核の情報表現の解明を進めた。セロトニンニューロンの活性化による遅延報酬に対する意欲の亢進は、報酬獲得の確実性とそのタイミングの不確実性に依存することを明らかにし、その特性を再現する新たなベイズ意思決定モデルの提案を行った。

研究成果の学術的意義や社会的意義

脳にならった新たな人工知能の開発と、人工知能の理論や手法による脳科学の進展という領域のねらいの具現化をめざし、限られた経験から効率よく行動学習を行う強化学習アルゴリズムの開発と、その性能を予測する理論の構築を行った。また、知覚推論と強化学習に関わる情報の大脳皮質と大脳基底核における表現を明らかにするとともに、セロトニンが将来報酬の予測に基づく行動を制御するしくみの解明を進めた。

研究成果

• [国際共同研究] University of California Berkeley(米国)
• [国際共同研究] University College London(英国)
• [雑誌論文] A whole brain probabilistic generative model: Toward realizing cognitive architectures for developmental robots (2022)
  • 著者名/発表者名: Taniguchi T, Yamakawa H, Nagai T, Doya K, Sakagami M, Suzuki M, Nakamura T, Taniguchi A
  • 雑誌名: Neural Networks 巻: 150 ページ: 293-312
  • DOI: 10.1016/j.neunet.2022.02.026
  • 査読あり / オープンアクセス
• [雑誌論文] Structural relational inference actor-critic for multi-agent reinforcement learning (2021)
  • 著者名/発表者名: Zhang X, Liu Y, Xu X, Huang Q, Mao H, Carie, A
  • 雑誌名: Neurocomputing 巻: 459 ページ: 383-394
  • DOI: 10.1016/j.neucom.2021.07.014
  • 査読あり / オープンアクセス
• [雑誌論文] Canonical cortical circuits and the duality of Bayesian inference and optimal control (2021)
  • 著者名/発表者名: Doya K
  • 雑誌名: Current Opinion in Behavioral Sciences 巻: 41 ページ: 160-167
  • DOI: 10.1016/j.cobeha.2021.07.003
  • 査読あり / オープンアクセス
• [雑誌論文] Increased serotonin prevents compulsion in addiction (2021)
  • 著者名/発表者名: Miyazaki K, Miyazaki K W
  • 雑誌名: Science 巻: 373 号: 6560 ページ: 1197-1198
  • DOI: 10.1126/science.abl6285
  • 査読あり / オープンアクセス
• [雑誌論文] Forward and inverse reinforcement learning sharing network weights and hyperparameters (2021)
  • 著者名/発表者名: Uchibe E, Doya K
  • 雑誌名: Neural Networks 巻: 144 ページ: 138-153
  • DOI: 10.1016/j.neunet.2021.08.017
  • オープンアクセス
• [雑誌論文] ZFPM1 Necessary for Development of Serotonergic Projections Related to Anxiety and Contextual Fear Learning (2021)
  • 著者名/発表者名: Taira M, Desforges M
  • 雑誌名: Journal of Neuroscience 巻: 41 号: 18 ページ: 3945-3947
  • DOI: 10.1523/jneurosci.3125-20.2021
  • 査読あり / オープンアクセス
• [雑誌論文] Serotonergic Modulation of Cognitive Computations (2021)
  • 著者名/発表者名: Kenji Doya, Kayoko W. Miyazaki, Katsuhiko Miyazaki
  • 雑誌名: Current opinion of Behavioral Sciences 巻: Volume 38, April 2021 ページ: 116-123
  • DOI: 10.1016/j.cobeha.2021.02.003
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] A biologically constrained spiking neural network model of the primate basal ganglia with overlapping pathways exhibits action selection (2021)
  • 著者名/発表者名: Girard B, Lienard J, Gutierrez C E, Delord B, Doya K
  • 雑誌名: European Journal of Neuroscience 巻: 53 号: 7 ページ: 2254-2277
  • DOI: 10.1111/ejn.14869
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Diffusion functional MRI reveals global brain network functional abnormalities driven by targeted local activity in a neuropsychiatric disease mouse model (2020)
  • 著者名/発表者名: Abe Yoshifumi、Takata Norio、Sakai Yuki、Hamada Hiro Taiyo、Hiraoka Yuichi、Aida Tomomi、Tanaka Kohichi、Bihan Denis Le、Doya Kenji、Tanaka Kenji F
  • 雑誌名: NeuroImage 巻: 223 ページ: 117318-117318
  • DOI: 10.1016/j.neuroimage.2020.117318
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Optimization and validation of diffusion MRI-based fiber tracking with neural tracer data as a reference (2020)
  • 著者名/発表者名: Gutierrez C E, Skibbe H, Nakae K, Tsukada H, Lienard J, Watakabe A, Hata J, Reisert M, Woodward A, Yamaguchi Y, Yamamori T, Okano H, Ishii S, Doya K
  • 雑誌名: Scientific reports 巻: 10 号: 1 ページ: 21285-21285
  • DOI: 10.1038/s41598-020-78284-4
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Self-organization of action hierarchy and compositionality by reinforcement learning with recurrent neural networks (2020)
  • 著者名/発表者名: Han D, Doya K, Tani J
  • 雑誌名: Neural Networks 巻: 129 ページ: 149-162
  • DOI: 10.1016/j.neunet.2020.06.002
  • 査読あり / オープンアクセス
• [雑誌論文] Serotonergic projections to the orbitofrontal and medial prefrontal cortices differentially modulate waiting for future rewards (2020)
  • 著者名/発表者名: Miyazaki K, Miyazaki KW, Sivori G, Yamanaka A, Tanaka KF, Doya K
  • 雑誌名: Science Advances 巻: 6 号: 48 ページ: 7246-7246
  • DOI: 10.1126/sciadv.abc7246
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] AIと脳神経科学―精神神経疾患へのデータ駆動と理論駆動のアプローチ (2020)
  • 著者名/発表者名: 高橋 英彦, 山下 祐一, 銅谷 賢治
  • 雑誌名: Clinical Neuroscience 巻: 38 ページ: 1358-1363
• [雑誌論文] 増大特集 人工知能と神経科学 人工知能と脳科学の現在とこれから (2019)
  • 著者名/発表者名: 銅谷賢治、松尾豊
  • 雑誌名: BRAIN and NERVE 巻: 71 号: 7 ページ: 649-655
  • DOI: 10.11477/mf.1416201337
  • ISSN: 1344-8129, 1881-6096
  • 年月日: 2019-07-01
• [雑誌論文] Gap-Increasing Policy Evaluation for Efficient and Noise-Tolerant Reinforcement Learning. (2019)
  • 著者名/発表者名: Kozuno T, Han D, Doya K
  • 雑誌名: arXiv. 巻: N/A
  • オープンアクセス
• [雑誌論文] A unified view of likelihood ratio and reparameterization gradients and an optimal importance sampling scheme. (2019)
  • 著者名/発表者名: Parmas P, Sugiyama M
  • 雑誌名: arXiv. 巻: N/A
  • オープンアクセス
• [雑誌論文] Toward evolutionary and developmental intelligence (2019)
  • 著者名/発表者名: Doya K, Taniguchi T
  • 雑誌名: Current Opinion in Behavioral Sciences 巻: 29 ページ: 91-96
  • DOI: 10.1016/j.cobeha.2019.04.006
  • 査読あり / オープンアクセス
• [雑誌論文] Theoretical analysis of efficiency and robustness of softmax and gap-increasing operators in reinforcement learning (2019)
  • 著者名/発表者名: Kozuno T, Uchibe E, Doya K
  • 雑誌名: Proceedings of Machine Learning Research (PMLR) 巻: 89 ページ: 2995-3003
  • 査読あり / オープンアクセス
• [雑誌論文] Reward probability and timing uncertainty alter the effect of dorsal raphe serotonin neurons on patience (2018)
  • 著者名/発表者名: Miyazaki K*, Miyazaki KW*, Yamanaka A, Tokuda T, Tanaka KF, Doya K *These authors contributed equally to this work.
  • 雑誌名: Nature Communications 巻: 9 号: 1 ページ: 2048-2048
  • DOI: 10.1038/s41467-018-04496-y
  • 査読あり / オープンアクセス
• [雑誌論文] Identification of depression subtypes and relevant brain regions using a data-driven approach (2018)
  • 著者名/発表者名: Tokuda Tomoki, Yoshimoto Junichiro,Shimizu Yu, Okada Go,Takamura Masahiro, Okamoto Yasumasa, Yamawaki Shigeto, Doya Kenji
  • 雑誌名: Scientific Reports 巻: 8 号: 1 ページ: 14082-14082
  • DOI: 10.1038/s41598-018-32521-z
  • NAID: 120006537400
  • 査読あり / オープンアクセス
• [雑誌論文] Connectivity inference from neural recording data: Challenges, mathematical bases and research directions (2018)
  • 著者名/発表者名: Magrans de Abril I, Yoshimoto J, Doya K
  • 雑誌名: Neural Networks 巻: 102 ページ: 120-137
  • DOI: 10.1016/j.neunet.2018.02.016
  • 査読あり / オープンアクセス
• [雑誌論文] Reward-predictive neural activities in striatal striosome compartments (2018)
  • 著者名/発表者名: Yoshizawa T, Ito M, Doya K
  • 雑誌名: eNeuro 巻: 5 号: 1 ページ: 0367-0367
  • DOI: 10.1523/eneuro.0367-17.2018
  • 査読あり / オープンアクセス
• [雑誌論文] Sigmoid-weighted linear units for neural network function approximation in reinforcement learning (2018)
  • 著者名/発表者名: Elfwing S, Uchibe E, Doya K
  • 雑誌名: Neural Networks 巻: 2017 Specail issue ページ: 30297-6
  • DOI: 10.1016/j.neunet.2017.12.012
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Multiple co-clustering based on nonparametric mixture models with heterogeneous marginal distributions (2017)
  • 著者名/発表者名: Tokuda T, Yoshimoto J, Shimizu Y Okada G, Takamura M, Okamoto Y, Yamawaki S, Doya K
  • 雑誌名: PLoS One 巻: 12 号: 10 ページ: e0186566-e0186566
  • DOI: 10.1371/journal.pone.0186566
  • 査読あり / オープンアクセス
• [雑誌論文] Adaptive Baseline Enhances EM-based Policy Search: Validation in a View-based Positioning Task of a Smartphone Balancer (2017)
  • 著者名/発表者名: Jiexin Wang, Eiji Uchibe, Kenji Doya
  • 雑誌名: Frontiers in Neurorobotics 巻: 11 ページ: 1-15
  • DOI: 10.3389/fnbot.2017.00001
  • NAID: 120005980916
  • 査読あり / オープンアクセス / 国際共著
• [学会発表] Canonical Cortical Circuits and the Duality of Inference and Control (2022)
  • 著者名/発表者名: Doya K
  • 学会等名: 神経研究所発表会 (Online)
  • 招待講演
• [学会発表] Embodied agents for survival, reproduction, and prediction (2022)
  • 著者名/発表者名: Doya K
  • 学会等名: International Workshop on Next Generation Embodied Intelligence
  • 国際学会 / 招待講演
• [学会発表] Context-dependent interaction of dopamine and serotonin (2022)
  • 著者名/発表者名: Doya K
  • 学会等名: COSYNE2022 (Online)
  • 国際学会 / 招待講演
• [学会発表] Serotonergic Control of Model-based Decision Making (2022)
  • 著者名/発表者名: Taira M
  • 学会等名: COSYNE2022
  • 国際学会
• [学会発表] Natural and artificial reinforcement learning (2021)
  • 著者名/発表者名: Doya K
  • 学会等名: NeurIPS2021 (Online)
  • 国際学会 / 招待講演
• [学会発表] 進化するスマホロボットは何をめざすか (2021)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 第38回AI美芸研シンポジウム「コンセプチュアルウイルス」
  • 招待講演
• [学会発表] 動物の行動と神経活動を予測する (2021)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 日本動物実験代替法学会第34回大会
  • 招待講演
• [学会発表] 強化学習とベイズ推定の神経回路を探る (2021)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 中部大学 AI数理データサイエンスセンターキックオフシンポジウム
  • 招待講演
• [学会発表] The duality of inference and control as a key to understanding canonical cortical circuits (2021)
  • 著者名/発表者名: Doya K
  • 学会等名: "RIKEN-OIST symposium ""Kinds of Minds-What is thinking?" (Online)
  • 招待講演
• [学会発表] 不確かさ判断の神経機構 (2021)
  • 著者名/発表者名: 山根ゆか子、銅谷賢治
  • 学会等名: 日本視覚学会2021年夏季大会 (Online)
• [学会発表] マーモセットカルシウムイメージングデータの因果解析 (2021)
  • 著者名/発表者名: Yamane Y, Ebina T, Sasagawa A, Terada S, Uemura M, Ohki K, Matsuzaki M, Doya K
  • 学会等名: 日本神経回路学会 (Online)
• [学会発表] Investigation of information flow and temporal-spatial organization of neurons across cortical layers from multi-depth two-photon imaging data (2021)
  • 著者名/発表者名: Li Y, Doya K
  • 学会等名: JNNS2021
• [学会発表] 脳型人工知能による人間理解と応用 (2021)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: サントリーホールディングス株式会社 研究交流会議 (Online)
• [学会発表] 人工知能は脳から何を学べば良いのか (2021)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 【応用脳科学コンソーシアム】2021年度応用脳科学アカデミー (Online)
  • 招待講演
• [学会発表] Reinforcement learning, Bayesian inference and the brain (2021)
  • 著者名/発表者名: Doya K
  • 学会等名: AI and Brain Computation (lecture at summer school) (Online)
  • 招待講演
• [学会発表] The duality of control and inference as a clue for cracking the codes of frontal and sensory cortical architectures (2021)
  • 著者名/発表者名: Doya K
  • 学会等名: CJK Symposium 17, Theoretical Brain (Online)
  • 招待講演
• [学会発表] The effect of photoinhibition of dorsal raphe serotonin neurons on stationary waiting and sustained motor actions for future rewards (2021)
  • 著者名/発表者名: Taira M
  • 学会等名: The 44th annual meeting of the Japan Neuroscience Society
• [学会発表] Duality of control and inference and the cortical circuit architecture (2021)
  • 著者名/発表者名: Doya K
  • 学会等名: SBDM 2021
  • 国際学会 / 招待講演
• [学会発表] What can we learn from the brain for future AI? (2021)
  • 著者名/発表者名: Doya K
  • 学会等名: ICLR2021
  • 国際学会 / 招待講演
• [学会発表] Neural circuit for mental simulation (2021)
  • 著者名/発表者名: Doya K
  • 学会等名: China-Japan Expert Symposium on Brain Science
  • 国際学会 / 招待講演
• [学会発表] 人工知能は脳から何を学べば良いのか (2020)
  • 著者名/発表者名: 銅谷 賢治
  • 学会等名: 応用脳科学アカデミーアドバンスコース「脳とAI」第１回
  • 招待講演
• [学会発表] AI and brain science (2020)
  • 著者名/発表者名: Doya K
  • 学会等名: 2020 IEEE CIS Summer School on Emerging Research Trends in Computational Intelligence: Theory and Applications
  • 国際学会 / 招待講演
• [学会発表] Communication and Self-organization of Intelligent Agents (2020)
  • 著者名/発表者名: Doya K
  • 学会等名: NOLTA 2020
  • 国際学会 / 招待講演
• [学会発表] Extracting information flow across cortical layers from multi-depth two-photon imaging data (2020)
  • 著者名/発表者名: Li Y, Doya K
  • 学会等名: 第63回自動制御連合講演会
  • 招待講演
• [学会発表] 人工知能と脳科学の融合と社会 (2020)
  • 著者名/発表者名: 銅谷 賢治
  • 学会等名: 第8回神経法学研究会
  • 招待講演
• [学会発表] 脳とAIの接点から何を学びうるのか (2020)
  • 著者名/発表者名: 銅谷 賢治
  • 学会等名: 第5回全脳アーキテクチャシンポジウム
  • 招待講演
• [学会発表] Toward the society of AI agents: what should we learn from the brain and human society (2020)
  • 著者名/発表者名: Doya K
  • 学会等名: International Symposium on Artificial Intelligence and Brain Science
  • 国際学会 / 招待講演
• [学会発表] What can we further learn from the brain for artificial intelligence? (2020)
  • 著者名/発表者名: Doya K
  • 学会等名: Neurotheory Forum
  • 国際学会 / 招待講演
• [学会発表] How to let robots learn, develop, communicate and evolve (2020)
  • 著者名/発表者名: Doya K
  • 学会等名: Latin American Summer School on Cognitive Robotics (LACORO)
  • 国際学会 / 招待講演
• [学会発表] What can we further learn from the brain for artificial intelligence (2020)
  • 著者名/発表者名: Doya K
  • 学会等名: Neuroscience2020
  • 招待講演
• [学会発表] Toward multi-scale brain data assimilation (2020)
  • 著者名/発表者名: Doya K
  • 学会等名: CNS*2020 Workshop: Machine learning and mechanistic modeling for understanding brain in health and disease
  • 国際学会 / 招待講演
• [学会発表] Effects of transcranial direct current stimulation in brain-computer interface (2020)
  • 著者名/発表者名: Kasahara Ki, Nakamura T, Uehara K, Ogata Y, Doya K, Hanakawa T
  • 学会等名: 2021 IEEE 3rd Global Conference on life science and technology (LifeTech 2021)
  • 国際学会
• [学会発表] Leverage the average: an analysis of KL regularization in reinforcement learning (2020)
  • 著者名/発表者名: Vieillard N, Kozuno T, Scherrer B, Pietquin O, Munos R, Geist M
  • 学会等名: Neural Information Processing Systems Online Conference 2020 (NeurIPS 2020)
  • 国際学会
• [学会発表] Effects of the neural activity in basal ganglia on the choice behavior in rats (2020)
  • 著者名/発表者名: Sugiura I, Irei T, Doya K, Kurata K, Miyata R
  • 学会等名: The 30th Annual Conference of Japanese Neural Network Society (JNNS2020)
• [学会発表] Maximum credibility voting (MCV): An integrative approach for accurate diagnosis of major depressive disorder from clinically readily available data (2020)
  • 著者名/発表者名: himizu Y, Yoshimoto J, Takamura M, Okada G, Matsumoto T, Fuchikami M, Okada S, Morinobu S, Okamoto Y, Yamawaki S, Doya K
  • 学会等名: APSIPA 2020
  • 国際学会
• [学会発表] Neuron hubs distributed differently in deep layers and superficial layers in different brain states (2020)
  • 著者名/発表者名: Li Y, Doya K
  • 学会等名: The 1st Asia-Pacific Computational and Cognitive Neuroscience Conference. (2020 AP-CCN)
  • 国際学会
• [学会発表] Investigation of temporal and spatial origination of neural network in sensory cortex. (2020)
  • 著者名/発表者名: Li Y, Doya K
  • 学会等名: The 30th Annual Conference of Japanese Neural Network Society (JNNS2020)
• [学会発表] Changes in the basal ganglia-thalamic functional connectivity induced by longitudinal motor training in mice (2020)
  • 著者名/発表者名: Hikishima-Kasahara K, Doya K
  • 学会等名: Neuroscience 2020
• [学会発表] Variational recurrent models for solving partially observable control tasks (2020)
  • 著者名/発表者名: Han D, Doya K, Tani J
  • 学会等名: Eighth International Conference on Learning Representations (ICLR 2020)
  • 国際学会
• [学会発表] How Can the Brain Connect Predictors and Actors on the Fly? (2020)
  • 著者名/発表者名: Doya K
  • 学会等名: Workshop on Learning for flexible, context-sensitive behavior
  • 国際学会 / 招待講演
• [学会発表] Identifying the Evolutionary Conditions for the Emergence of Alternative Reproductive Tactics in Simulated Robot Colonies (2020)
  • 著者名/発表者名: Rahman F, Doya K, Mickheyev A
  • 学会等名: AROB 25th 2020
  • 国際学会
• [学会発表] What can we further learn from the brain for artificial intelligence? (2020)
  • 著者名/発表者名: Doya K
  • 学会等名: 脳と心のメカニズム第20回冬のワークショップ
  • 国際学会 / 招待講演
• [学会発表] Representation and grounding of abstract concepts: a preliminary investigation. Mechanism of Mind and Brain (2020)
  • 著者名/発表者名: Chiu HC, Doya K
  • 学会等名: 脳と心のメカニズム第20回冬のワークショップ
• [学会発表] セロトニンによる報酬待機行動の制御機構 (2019)
  • 著者名/発表者名: 宮崎勝彦
  • 学会等名: 第254回つくばブレインサイエンス・セミナー
  • 招待講演
• [学会発表] What Can We Learn from the Brain for Next AI? (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: The 3rd Ryudai-OIST Symposium: Basic Medical Science to Clinical Medicine
• [学会発表] Intrinsic motivation in creative activity: A human behavioral experiment for identifying the factors that influence intrinsic motivation. (2019)
  • 著者名/発表者名: Ota S, Doya K
  • 学会等名: WIML, NeurIPS
  • 国際学会
• [学会発表] A unified view of likelihood ratio and reparameterization gradients and an optimal importance sampling scheme (2019)
  • 著者名/発表者名: Parmas P, Sugiyama M
  • 学会等名: Deep Reinforcement Learning Workshop, NeurIPS
  • 国際学会
• [学会発表] マウスの脳内シミュレーションとロボットの報酬進化 (2019)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 第12回日本人間行動進化学会
  • 招待講演
• [学会発表] Consciousness as Data Assimilation (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: Consciousness Club. ARAYA
  • 招待講演
• [学会発表] Toward whole-brain multi-scale modeling (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: NBNI: Neurobiology and Neuroinformatics
  • 国際学会
• [学会発表] Patience, Confidence and Serotonin (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: Blue Brain Seminar
  • 招待講演
• [学会発表] What Can We Further Learn from the Brain for Cognitive Robotics? (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: IROS 2019 Workshop: Deep Probabilistic Generative Models for Cognitive Architecture in Robotics
  • 国際学会 / 招待講演
• [学会発表] Systems Biology of Reinforcement Learning (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: International Conference on Systems Biology (ICSB 2019)
  • 国際学会
• [学会発表] Reinforcement Learning in Machines and the Brain (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: Conference on Robot Learning (CoRL 2019)
  • 国際学会 / 招待講演
• [学会発表] Stimulation of serotonergic terminals in the orbitofrontal and medial prefrontal cortices differentially affects waiting for the future rewards (2019)
  • 著者名/発表者名: Miyazaki KW, Miyazaki K, Yamanaka A, Tanaka KF, Doya K
  • 学会等名: Society for Neuroscience (SfN 2019)
  • 国際学会
• [学会発表] Artificial Intelligence and Brain Science (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: The Joint Symposium of WPI-IIIS, Ph.D. Program in Humanics, and 36th Takamine Conference
  • 招待講演
• [学会発表] Neural Circuits for Reinforcement Learning and Mental Simulation (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: IBRO 2019 Symposium: Valence and Reward Encoding
  • 国際学会 / 招待講演
• [学会発表] ベイジアンブレインの今日 (2019)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 日本認知科学会第36回大会
  • 招待講演
• [学会発表] Intrinsic motivation in play: Preliminary experiment for analyzing how learning environmental condition influences intrinsic motivation (2019)
  • 著者名/発表者名: Ota S, Doya K
  • 学会等名: International Conference on Cognitive Science (ICCS 2019)
  • 国際学会
• [学会発表] Neural circuits for mental simulation (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: International Conference on Cognitive Science (ICCS2019)
  • 国際学会 / 招待講演
• [学会発表] What can we further learn from the brain for AI and robotics? (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: Global AI Summit: Cognitive AI
  • 国際学会 / 招待講演
• [学会発表] Big Data Challenges in Neuroscience (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: IEEE CIS Summer School: Big Data Analytics and Stream Processing
  • 国際学会 / 招待講演
• [学会発表] Neural Circuits for Mental Simulation (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: CNS*2019, 28th Annual Computational Neuroscience Meeting
  • 国際学会 / 招待講演
• [学会発表] Possible roles of dopamine in model-free and model-based decision and learning (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: CNS*2019, Dopaminergic Signaling Workshop
  • 国際学会 / 招待講演
• [学会発表] Ethologically Grounded Motivation and Neural Implementation of Mental Simulation (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: The 4th International Workshop on Intrinsically Motivated Open-ended Learning (IMOL2019)
  • 国際学会 / 招待講演
• [学会発表] 人工知能と脳科学 (2019)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 第58回日本生体医工学会大会
  • 招待講演
• [学会発表] Learning to Communicate for Ecological Fitness (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: Shonan Meeting No. 141. Language as Goal-Directed Sequential Behavior: Computational Theories, Brain Mechanisms, Evolutionary Roots
• [学会発表] Neural circuit for mental simulation (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: Computational and Systems Neuroscience 2019 (COSYNE2019)
  • 国際学会 / 招待講演
• [学会発表] Patience and beyond (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: COSYNE 2019 Workshop -Advances and Convergences in 5-HT Research
  • 国際学会 / 招待講演
• [学会発表] Neural circuits for reinforcement learning and mental simulation (2019)
  • 著者名/発表者名: Doya K
  • 学会等名: 5th Coreto Core International Symposium "3D LabExchange Program"
  • 国際学会 / 招待講演
• [学会発表] Neuronal activity of macaque visual cortices during free viewing (2019)
  • 著者名/発表者名: Yamane Y, Ito J, Joana C, Fujita I, Tamura H, Maldonado P, Doya K, Grun S
  • 学会等名: The 19th winter workshop Mechanism of Brain and Mind
• [学会発表] 人工知能は脳から何を学べるか (2018)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 第26回脳の世紀シンポジウム「AIと脳」
  • 招待講演
• [学会発表] 想像力と知能の脳回路を可視化する (2018)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 第58回日本核医学会学術総会-合同特別講演（県民公開講座を兼ねる）
  • 招待講演
• [学会発表] Introductory talk: Building autonomous robots to understand what brains do (2018)
  • 著者名/発表者名: Doya K
  • 学会等名: Satellite workshop of The 8th International Symposium on Biology of Decision Making (SBDM2018)
  • 国際学会
• [学会発表] ロボットと人工知能から行動障害と脳機能へのアプローチ (2018)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 第22回日本摂食障害学会学術集会
  • 招待講演
• [学会発表] Neural circuits for reinforcement learning and mental simulation (2018)
  • 著者名/発表者名: Doya K
  • 学会等名: OIST-KAIST Symposium: Intelligence in Biological Systems and Its Application to Machines
  • 招待講演
• [学会発表] 脳の回路モジュールはなぜうまく繋がれるのか (2018)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 第3回 全脳アーキテクチャシンポジウム 「脳に学んで良き汎用知能に至る道筋」
  • 招待講演
• [学会発表] Theoretical analysis of Non-exact retrace algorithm (2018)
  • 著者名/発表者名: Kozuno T, Doya K
  • 学会等名: The 28th Annual Conference of the Japanese Neural Network Society (JNNS2018 )
  • 国際学会
• [学会発表] Total stochastic gradient algorithms and applications in reinforcement learning (2018)
  • 著者名/発表者名: Paramas P
  • 学会等名: The 32nd Conference on Neural Information Processing Systems (NeurIPS2018)
  • 国際学会
• [学会発表] Total stochastic gradient algorithms with application to model-based reinforcement learning (2018)
  • 著者名/発表者名: Paramas P
  • 学会等名: The 21st Information -based induction science workshop (IBIS2018)
• [学会発表] PIPPS: Flexible model-based policy search robust to the curse of chaos (2018)
  • 著者名/発表者名: Parmas P, Rasmussen Carl E, Peters Jan, Doya, Kenji
  • 学会等名: The 35th International Conference on Machine Learning (ICML2018)
  • 国際学会
• [学会発表] Representation of fixated objects by multiple single unit activity in visual cortices of freely viewing macaque monkeys (2018)
  • 著者名/発表者名: Yamane Y, Ito J, Joana C, Fujita I, Tamura H, Maldonado P, Doya K, Grun S
  • 学会等名: 11th FENS Forum of Neuroscience
  • 国際学会
• [学会発表] Inferring fixated objects in free viewing from parallel neuronal spiking activities in macaque monkeys (2018)
  • 著者名/発表者名: Yamane Y, Ito J, Joana C, Fujita I, Tamura H, Maldonado P, Doya K, Grun S
  • 学会等名: The 41st Annual Meeting of the Japan Neuroscience Society
• [学会発表] Cell-type specific calcium imaging of striatal neurons in the striosome compartments during an odor-conditioning task (2018)
  • 著者名/発表者名: Yoshizawa T, Ito M, Doya K
  • 学会等名: Gordon Research Conference
  • 国際学会
• [学会発表] Experimental investigation of hierarchical Bayesian inference in sensory and motor cortices (2018)
  • 著者名/発表者名: Zobnin S, Li Yuzhe, Doya K
  • 学会等名: 脳と心のメカニズム第18回冬のワークショップ
• [学会発表] 報酬待機行動を制御するセロトニンの役割ーoptogeneticsによる検証ー (2018)
  • 著者名/発表者名: 宮崎勝彦
  • 学会等名: セロトニン研究会
  • 招待講演
• [学会発表] Imaging the neural circuit for mental simulation (2018)
  • 著者名/発表者名: Doya K
  • 学会等名: COSYNE 2018 Workshop Session: Concepts, attention, and consciousness in (reinforcement) learning 3.5
  • 国際学会
• [学会発表] Neural circuits for reinforcement learning and mental simulation (2018)
  • 著者名/発表者名: Doya K
  • 学会等名: Canonical Computation in Brains and Machines, New York University
  • 国際学会
• [学会発表] What should we further learn from the brain? (2018)
  • 著者名/発表者名: Doya K
  • 学会等名: Joint Workshop of Korean AI flagship Project and Japanese AI and Brain Scinece Project
• [学会発表] Neural circuits for reinforcement learning and mental simulation (2018)
  • 著者名/発表者名: Doya K
  • 学会等名: Brain and AI Symposium Korea
  • 国際学会 / 招待講演
• [学会発表] Neural circuits for reinforcement learning and mental simulation (2018)
  • 著者名/発表者名: Doya K
  • 学会等名: Seminar at Cold Spring Harbor Laboratory
• [学会発表] How does the brain wire up itself on the fly? (2018)
  • 著者名/発表者名: Doya K
  • 学会等名: Seminar at Institute for Advnced Study, Princeton
  • 招待講演
• [学会発表] Neural Circuit for Mental Simulation (2018)
  • 著者名/発表者名: Doya K
  • 学会等名: The Neuroscience and Social Decision Making Talk Series
• [学会発表] Fast Adaptation of Behavior to Changing Goals with a Gamma Ensemble (2017)
  • 著者名/発表者名: Chris Reinke, Eiji Uchibe, Kenji Doya
  • 学会等名: The 3rd Multidisciplinary Conference on Reinforcement Learning and Decision Making (RLDM2017)
  • 発表場所: The University of Michigan, Ann Arbor, Michigan, U.S.A.
  • 年月日: 2017-06-11
  • 国際学会
• [学会発表] Coding of action and state values in the striatal compartments (2017)
  • 著者名/発表者名: Kenji Doya
  • 学会等名: 12th International Basal Ganglia Society Meeting (IBAGS-XII 2017)
  • 発表場所: Merida, Yucatan, Mexico
  • 年月日: 2017-03-26
  • 国際学会 / 招待講演
• [学会発表] Robust and Efficient Off-Policy Policy Evaluation via Enhanced Action-Gap (2017)
  • 著者名/発表者名: Kozuno T, Uchibe E, Doya K
  • 学会等名: The 20th Information-Based Induction Sciences Workshop
• [学会発表] The optimal-baseline estimator is not the optimal baseline-estimator (2017)
  • 著者名/発表者名: Parmas P, Peters J, Doya, K
  • 学会等名: Information-based induction sciences workshop (IBIS)
• [学会発表] Adaptation of Optimization Algorithms to Problem Domains by Transfer Learning (2017)
  • 著者名/発表者名: Reinke C, Doya K
  • 学会等名: 2017 International Conference on Intelligent Informatics and Biomedical Sciences (ICIIBMS)
  • 国際学会
• [学会発表] Average Reward Optimization with Multiple Discounting Reinforcement Learners (2017)
  • 著者名/発表者名: Reinke C, Uchibe E, Doya K
  • 学会等名: ICONIP (Lecture Notes in Computer Science)
  • 国際学会
• [学会発表] Fast Adaptation of Behavior to Changing Goals with a Gamma Ensemble (2017)
  • 著者名/発表者名: Reinke C, Uchibe E, Doya K
  • 学会等名: 3rd Multidisciplinary conference on reinforcement learning and decision making
  • 国際学会
• [学会発表] Coding of value information in the striatal striosome compartment (2017)
  • 著者名/発表者名: Yoshizawa T, Ito M, Doya K
  • 学会等名: 44th Naito Conference
• [学会発表] Neural representation of sensory-state value in the striatal striosome compartment (2017)
  • 著者名/発表者名: Yoshizawa T, Ito M, Doya K
  • 学会等名: Society for Neuroscience 47th Annual Meeting
  • 国際学会
• [学会発表] Experimental investigation of hierarchical Bayesian inference in sensory and motor cortices (2017)
  • 著者名/発表者名: Zobnin S, Li Yuzhe, Doya K
  • 学会等名: 新学術領域研究「人工知能と脳科学」第3回領域会議
• [学会発表] Neural coding, brain imaging and information extraction by circuit modeling (2017)
  • 著者名/発表者名: Doya K
  • 学会等名: Neuroscience 2017 Sattelite Symposium / CREST Symposium
  • 国際学会 / 招待講演
• [学会発表] Reinforcement learning: basic concepts and recent advances (2017)
  • 著者名/発表者名: Doya K
  • 学会等名: Workshop on "Human & Machine Learning"
  • 国際学会 / 招待講演
• [学会発表] Neural mechanisms of reinforcement learning and mental simulation (2017)
  • 著者名/発表者名: Doya K
  • 学会等名: Workshop on "Human & Machine Learning"
  • 国際学会 / 招待講演
• [学会発表] What should we further learn from the brain? (2017)
  • 著者名/発表者名: Doya K
  • 学会等名: Korean AI Flagship Project Workshop
  • 招待講演
• [学会発表] Exploring the deep brain network for reinforcement learning (2017)
  • 著者名/発表者名: Doya K
  • 学会等名: Neuroscience 2017, 40th Annual Meeting of the Japan Neuroscience Societ,Luncheon Seminar
  • 国際学会 / 招待講演
• [学会発表] Decoding the contents of mental simulation (2017)
  • 著者名/発表者名: Doya K
  • 学会等名: Neuroscience 2017 Sattelite Symposium: Computational Principles of the Nervous System
  • 国際学会 / 招待講演
• [学会発表] What should We further Learn from the Brain? (2017)
  • 著者名/発表者名: Doya K
  • 学会等名: Brain-AI Workshop, NYU Shanhai
  • 国際学会 / 招待講演
• [学会発表] BRAINｘBayes (2017)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 新学術領域研究「人工知能と脳科学」若手サマースクール
• [学会発表] 大脳基底核の機能モデル・病態モデルと実験的検証 (2017)
  • 著者名/発表者名: Doya K
  • 学会等名: 第32回 日本大脳基底核研究会 (JBAGS2017)
  • 招待講演
• [学会発表] 「脳内シミュレーション」の神経回路を可視化する (2017)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 新適塾「脳はおもしろい」第１8回会合
• [学会発表] Artificial Intelligence and Brain Science (2017)
  • 著者名/発表者名: Doya K
  • 学会等名: Seminar at Kyungpook National University
• [学会発表] What can we further learn from the brain? (2017)
  • 著者名/発表者名: Doya K
  • 学会等名: 24th International Conference on Neural Information Processing ICONIP2017
  • 国際学会 / 招待講演
• [学会発表] Neural circuits for reinforcement learning and mental simulation (2017)
  • 著者名/発表者名: Doya K
  • 学会等名: SCiNDU: Systems & Computational Neuroscience Down Under
  • 国際学会 / 招待講演
• [学会発表] 脳内シミュレーションの神経機構 (2017)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 第32回日本整形外科学会基礎学術集会
  • 招待講演
• [備考] 沖縄科学技術大学院大学 神経計算ユニット
  • URL: https://groups.oist.jp/ja/ncu
• [備考] 人工知能と脳科学の対照と融合
  • URL: http://www.brain-ai.jp/jp/
• [備考] International Symposium on AI and Brain Science
  • URL: http://www.brain-ai.jp/jp/symposium2020/
• [備考] 沖縄科学技術大学院大学 神経計算ユニット
  • URL: https://groups.oist.jp/ncu
• [備考] 沖縄科学技術大学院大学 神経計算ユニット
  • URL: https://groups.oist.jp/ncu
• [産業財産権] Inverse reinforcement learning by density ratio estimation (2021)
  • 発明者名: Uchibe E, Doya K
  • 権利者名: Uchibe E, Doya K
  • 産業財産権種類: 特許
  • 出願年月日: 2021
  • 取得年月日: 2021
• [産業財産権] Direct inverse reinforcement learning with density ratio estimation (2021)
  • 発明者名: Uchibe E, Doya K
  • 権利者名: Uchibe E, Doya K
  • 産業財産権種類: 特許
  • 出願年月日: 2021
  • 取得年月日: 2021
• [産業財産権] Total stochastic gradient method (2018)
  • 発明者名: Paavo Parmas
  • 権利者名: 沖縄科学技術大学院大学
  • 産業財産権種類: 特許
  • 出願年月日: 2018
  • 取得年月日: 2018
  • 外国
• [学会・シンポジウム開催] International Symposium on Artificial Intelligence and Brain Science 2020 (2020)
• [学会・シンポジウム開催] 第40回日本神経科学大会 (2017)