多階層表現学習の数理基盤と神経機構の解明

2020 年度 実績報告書

• 研究領域: 人工知能と脳科学の対照と融合
• 研究課題/領域番号: 16H06563
• 研究機関: 沖縄科学技術大学院大学
• 研究代表者: 銅谷 賢治 沖縄科学技術大学院大学, 神経計算ユニット, 教授 (80188846)
• 研究期間 (年度): 2016-06-30 – 2021-03-31
• キーワード: ディープラーニング / 強化学習 / モジュール自己組織化

研究実績の概要

1) 多階層表現学習の数理基盤：ディープラーニングを強化学習に用いる場合に、学習の安定性を保証しながらデータ効率を改善するKL正則化強化学習の数理解析の論文が国際会議NeurIPS 2020の口頭発表として採択された。また、隠れ状態を含む強化学習課題に関して、変分リカレントニューラルネットを用いた新たな学習手法の論文をICLR2020で発表した。
2) 多階層表現学習の神経機構：ナ大脳皮質の神経回路において、ボトムアップの感覚情報とトップダウンの予測情報が統合されるメカニズムを明らかにするため、レバーの微小な動きを識別し操作する行動課題を実行中のマウス大脳皮質の異なる層の神経活動をプリズム内視鏡を用いて同時計測する実験を進め、ニューロン集団のダイナミクスの解析結果をAP-CNNおよびJNNS2020で発表した。
3) 全脳レベルのモジュール自己組織化：セロトニンニューロンの前頭眼窩野(OFC)および内側前頭皮質(mPFC)の神経端末の光遺伝学刺激による報酬待機行動の促進と、その特性を再現するベイズ意思決定モデルの論文がScience Advancesが採択された。
2021年度は、コロナウイルス蔓延によるキャンパス閉鎖等のために遅れていた神経活動計測およびオプトジェネティクス操作実験を行い、論文投稿を行なった。

現在までの達成度 (段落)

令和2年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和2年度が最終年度であるため、記入しない。

研究成果

• [国際共同研究] University of California Berkeley(米国)
  • 国名: 米国
  • 外国機関名: University of California Berkeley
• [国際共同研究] University College London(英国)
  • 国名: 英国
  • 外国機関名: University College London
• [雑誌論文] A whole brain probabilistic generative model: Toward realizing cognitive architectures for developmental robots (2022)
  • 著者名/発表者名: Taniguchi T, Yamakawa H, Nagai T, Doya K, Sakagami M, Suzuki M, Nakamura T, Taniguchi A
  • 雑誌名: Neural Networks 巻: 150 ページ: 293-312
  • DOI: 10.1016/j.neunet.2022.02.026
  • 査読あり / オープンアクセス
• [雑誌論文] Structural relational inference actor-critic for multi-agent reinforcement learning (2021)
  • 著者名/発表者名: Zhang X, Liu Y, Xu X, Huang Q, Mao H, Carie, A
  • 雑誌名: Neurocomputing 巻: 459 ページ: 383-394
  • DOI: 10.1016/j.neucom.2021.07.014
  • 査読あり / オープンアクセス
• [雑誌論文] Canonical cortical circuits and the duality of Bayesian inference and optimal control (2021)
  • 著者名/発表者名: Doya K
  • 雑誌名: Current Opinion in Behavioral Sciences 巻: 41 ページ: 160-167
  • DOI: 10.1016/j.cobeha.2021.07.003
  • 査読あり / オープンアクセス
• [雑誌論文] Increased serotonin prevents compulsion in addiction (2021)
  • 著者名/発表者名: Miyazaki K, Miyazaki K W
  • 雑誌名: Science 巻: 373 ページ: 1197-1198
  • DOI: 10.1126/science.abl6285
  • オープンアクセス
• [雑誌論文] Forward and inverse reinforcement learning sharing network weights and hyperparameters (2021)
  • 著者名/発表者名: Uchibe E, Doya K
  • 雑誌名: Neural Networks 巻: 144 ページ: 138-153
  • DOI: 10.1016/j.neunet.2021.08.017
  • オープンアクセス
• [雑誌論文] ZFPM1 Necessary for Development of Serotonergic Projections Related to Anxiety and Contextual Fear Learning (2021)
  • 著者名/発表者名: Taira M, Desforges M
  • 雑誌名: Journal of Neuroscience 巻: 41 ページ: 3945-3947
  • DOI: 10.1523/JNEUROSCI.3125-20.2021.
  • 査読あり / オープンアクセス
• [雑誌論文] Serotonergic modulation of cognitive computations (2021)
  • 著者名/発表者名: Doya K, Miyazaki K W, Miyazaki K
  • 雑誌名: Current Opinion in Behavioral Sciences 巻: 38 ページ: 116-123
  • DOI: 10.1016/j.cobeha.2021.02.003
  • 査読あり / オープンアクセス
• [雑誌論文] A biologically constrained spiking neural network model of the primate basal ganglia with overlapping pathways exhibits action selection (2021)
  • 著者名/発表者名: Girard B, Lienard J, Gutierrez C E, Delord B, Doya K
  • 雑誌名: European Journal of Neuroscience 巻: 53 ページ: 2254-2277
  • DOI: 10.1111/ejn.14869
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Diffusion functional MRI reveals global brain network functional abnormalities driven by targeted local activity in a neuropsychiatric disease mouse model (2020)
  • 著者名/発表者名: Abe Y, Takata N, Sakai Y, Hamada H T, Hiraoka Y, Aida T, Tanaka K, Denis L B, Doya K, Tanaka K F
  • 雑誌名: Neuroimage 巻: 223 ページ: 117318
  • DOI: 10.1016/j.neuroimage.2020.117318
  • 査読あり / オープンアクセス
• [雑誌論文] Optimization and validation of diffusion MRI-based fiber tracking with neural tracer data as a reference (2020)
  • 著者名/発表者名: Gutierrez C E, Skibbe H, Nakae K, Tsukada H, Lienard J, Watakabe A, Hata J, Reisert M, Woodward A, Yamaguchi Y, Yamamori T, Okano H, Ishii S, Doya K
  • 雑誌名: Scientific reports 巻: 10 ページ: 21285
  • DOI: 10.1038/s41598-020-78284-4
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Self-organization of action hierarchy and compositionality by reinforcement learning with recurrent neural networks (2020)
  • 著者名/発表者名: Han D, Doya K, Tani J
  • 雑誌名: Neural Networks 巻: 129 ページ: 149-162
  • DOI: 10.1016/j.neunet.2020.06.002.
  • 査読あり / オープンアクセス
• [雑誌論文] Serotonergic projections to the orbitofrontal and medial prefrontal cortices differentially modulate waiting for future rewards (2020)
  • 著者名/発表者名: Miyazaki K, Miyazaki K W, Sivori G, Yamanaka A, Tanaka K F. Doya K
  • 雑誌名: SCIENCE ADVANCES 巻: 6 ページ: eabc7246
  • DOI: 10.1126/sciadv.abc7246
  • 査読あり / オープンアクセス
• [雑誌論文] AIと脳神経科学―精神神経疾患へのデータ駆動と理論駆動のアプローチ (2020)
  • 著者名/発表者名: 高橋 英彦, 山下 祐一, 銅谷 賢治
  • 雑誌名: Clinical Neuroscience 巻: 38 ページ: 1358-1363
• [学会発表] Canonical Cortical Circuits and the Duality of Inference and Control (2022)
  • 著者名/発表者名: Doya K
  • 学会等名: 神経研究所発表会 (Online)
  • 招待講演
• [学会発表] Embodied agents for survival, reproduction, and prediction (2022)
  • 著者名/発表者名: Doya K
  • 学会等名: International Workshop on Next Generation Embodied Intelligence
  • 国際学会 / 招待講演
• [学会発表] Context-dependent interaction of dopamine and serotonin (2022)
  • 著者名/発表者名: Doya K
  • 学会等名: COSYNE2022 (Online)
  • 国際学会 / 招待講演
• [学会発表] Serotonergic Control of Model-based Decision Making (2022)
  • 著者名/発表者名: Taira M
  • 学会等名: COSYNE2022
  • 国際学会
• [学会発表] Natural and artificial reinforcement learning (2021)
  • 著者名/発表者名: Doya K
  • 学会等名: NeurIPS2021 (Online)
  • 国際学会 / 招待講演
• [学会発表] 進化するスマホロボットは何をめざすか (2021)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 第38回AI美芸研シンポジウム「コンセプチュアルウイルス」
  • 招待講演
• [学会発表] 動物の行動と神経活動を予測する (2021)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 日本動物実験代替法学会第34回大会
  • 招待講演
• [学会発表] 強化学習とベイズ推定の神経回路を探る (2021)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 中部大学 AI数理データサイエンスセンターキックオフシンポジウム
  • 招待講演
• [学会発表] The duality of inference and control as a key to understanding canonical cortical circuits (2021)
  • 著者名/発表者名: Doya K
  • 学会等名: "RIKEN-OIST symposium ""Kinds of Minds-What is thinking?" (Online)
  • 招待講演
• [学会発表] 不確かさ判断の神経機構 (2021)
  • 著者名/発表者名: 山根ゆか子、銅谷賢治
  • 学会等名: 日本視覚学会2021年夏季大会 (Online)
• [学会発表] マーモセットカルシウムイメージングデータの因果解析 (2021)
  • 著者名/発表者名: Yamane Y, Ebina T, Sasagawa A, Terada S, Uemura M, Ohki K, Matsuzaki M, Doya K
  • 学会等名: 日本神経回路学会 (Online)
• [学会発表] Investigation of information flow and temporal-spatial organization of neurons across cortical layers from multi-depth two-photon imaging data (2021)
  • 著者名/発表者名: Li Y, Doya K
  • 学会等名: JNNS2021
• [学会発表] 脳型人工知能による人間理解と応用 (2021)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: サントリーホールディングス株式会社 研究交流会議 (Online)
• [学会発表] 人工知能は脳から何を学べば良いのか (2021)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 【応用脳科学コンソーシアム】2021年度応用脳科学アカデミー (Online)
  • 招待講演
• [学会発表] Reinforcement learning, Bayesian inference and the brain (2021)
  • 著者名/発表者名: Doya K
  • 学会等名: AI and Brain Computation (lecture at summer school) (Online)
  • 招待講演
• [学会発表] The duality of control and inference as a clue for cracking the codes of frontal and sensory cortical architectures (2021)
  • 著者名/発表者名: Doya K
  • 学会等名: CJK Symposium 17, Theoretical Brain (Online)
  • 招待講演
• [学会発表] The effect of photoinhibition of dorsal raphe serotonin neurons on stationary waiting and sustained motor actions for future rewards (2021)
  • 著者名/発表者名: Taira M
  • 学会等名: The 44th annual meeting of the Japan Neuroscience Society
• [学会発表] Duality of control and inference and the cortical circuit architecture (2021)
  • 著者名/発表者名: Doya K
  • 学会等名: SBDM 2021
  • 国際学会 / 招待講演
• [学会発表] What can we learn from the brain for future AI? (2021)
  • 著者名/発表者名: Doya K
  • 学会等名: ICLR2021
  • 国際学会 / 招待講演
• [学会発表] Neural circuit for mental simulation (2021)
  • 著者名/発表者名: Doya K
  • 学会等名: China-Japan Expert Symposium on Brain Science
  • 国際学会 / 招待講演
• [学会発表] 人工知能は脳から何を学べば良いのか (2020)
  • 著者名/発表者名: 銅谷 賢治
  • 学会等名: 応用脳科学アカデミーアドバンスコース「脳とAI」第１回
  • 招待講演
• [学会発表] AI and brain science (2020)
  • 著者名/発表者名: Doya K
  • 学会等名: 2020 IEEE CIS Summer School on Emerging Research Trends in Computational Intelligence: Theory and Applications
  • 国際学会 / 招待講演
• [学会発表] Communication and Self-organization of Intelligent Agents (2020)
  • 著者名/発表者名: Doya K
  • 学会等名: NOLTA 2020
  • 国際学会 / 招待講演
• [学会発表] Extracting information flow across cortical layers from multi-depth two-photon imaging data (2020)
  • 著者名/発表者名: Li Y, Doya K
  • 学会等名: 第63回自動制御連合講演会
  • 招待講演
• [学会発表] 人工知能と脳科学の融合と社会 (2020)
  • 著者名/発表者名: 銅谷 賢治
  • 学会等名: 第8回神経法学研究会
  • 招待講演
• [学会発表] 脳とAIの接点から何を学びうるのか (2020)
  • 著者名/発表者名: 銅谷 賢治
  • 学会等名: 第5回全脳アーキテクチャシンポジウム
  • 招待講演
• [学会発表] Toward the society of AI agents: what should we learn from the brain and human society (2020)
  • 著者名/発表者名: Doya K
  • 学会等名: International Symposium on Artificial Intelligence and Brain Science
  • 国際学会 / 招待講演
• [学会発表] What can we further learn from the brain for artificial intelligence? (2020)
  • 著者名/発表者名: Doya K
  • 学会等名: Neurotheory Forum
  • 国際学会 / 招待講演
• [学会発表] How to let robots learn, develop, communicate and evolve (2020)
  • 著者名/発表者名: Doya K
  • 学会等名: Latin American Summer School on Cognitive Robotics (LACORO)
  • 国際学会 / 招待講演
• [学会発表] What can we further learn from the brain for artificial intelligence (2020)
  • 著者名/発表者名: Doya K
  • 学会等名: Neuroscience2020
  • 招待講演
• [学会発表] Toward multi-scale brain data assimilation (2020)
  • 著者名/発表者名: Doya K
  • 学会等名: CNS*2020 Workshop: Machine learning and mechanistic modeling for understanding brain in health and disease
  • 国際学会 / 招待講演
• [学会発表] Effects of transcranial direct current stimulation in brain-computer interface (2020)
  • 著者名/発表者名: Kasahara Ki, Nakamura T, Uehara K, Ogata Y, Doya K, Hanakawa T
  • 学会等名: 2021 IEEE 3rd Global Conference on life science and technology (LifeTech 2021)
  • 国際学会
• [学会発表] Leverage the average: an analysis of KL regularization in reinforcement learning (2020)
  • 著者名/発表者名: Vieillard N, Kozuno T, Scherrer B, Pietquin O, Munos R, Geist M
  • 学会等名: Neural Information Processing Systems Online Conference 2020 (NeurIPS 2020)
  • 国際学会
• [学会発表] Effects of the neural activity in basal ganglia on the choice behavior in rats (2020)
  • 著者名/発表者名: Sugiura I, Irei T, Doya K, Kurata K, Miyata R
  • 学会等名: The 30th Annual Conference of Japanese Neural Network Society (JNNS2020)
• [学会発表] Maximum credibility voting (MCV): An integrative approach for accurate diagnosis of major depressive disorder from clinically readily available data (2020)
  • 著者名/発表者名: himizu Y, Yoshimoto J, Takamura M, Okada G, Matsumoto T, Fuchikami M, Okada S, Morinobu S, Okamoto Y, Yamawaki S, Doya K
  • 学会等名: APSIPA 2020
  • 国際学会
• [学会発表] Neuron hubs distributed differently in deep layers and superficial layers in different brain states (2020)
  • 著者名/発表者名: Li Y, Doya K
  • 学会等名: The 1st Asia-Pacific Computational and Cognitive Neuroscience Conference. (2020 AP-CCN)
  • 国際学会
• [学会発表] Investigation of temporal and spatial origination of neural network in sensory cortex. (2020)
  • 著者名/発表者名: Li Y, Doya K
  • 学会等名: The 30th Annual Conference of Japanese Neural Network Society (JNNS2020)
• [学会発表] Changes in the basal ganglia-thalamic functional connectivity induced by longitudinal motor training in mice (2020)
  • 著者名/発表者名: Hikishima-Kasahara K, Doya K
  • 学会等名: Neuroscience 2020
• [学会発表] Variational recurrent models for solving partially observable control tasks (2020)
  • 著者名/発表者名: Han D, Doya K, Tani J
  • 学会等名: Eighth International Conference on Learning Representations (ICLR 2020)
  • 国際学会
• [備考] 沖縄科学技術大学院大学 神経計算ユニット
  • URL: https://groups.oist.jp/ja/ncu
• [備考] 人工知能と脳科学の対照と融合
  • URL: http://www.brain-ai.jp/jp/
• [備考] International Symposium on AI and Brain Science
  • URL: http://www.brain-ai.jp/jp/symposium2020/
• [産業財産権] Inverse reinforcement learning by density ratio estimation (2021)
  • 発明者名: Uchibe E, Doya K
  • 権利者名: Uchibe E, Doya K
  • 産業財産権種類: 特許
  • 産業財産権番号: 10896382
• [産業財産権] Direct inverse reinforcement learning with density ratio estimation (2021)
  • 発明者名: Uchibe E, Doya K
  • 権利者名: Uchibe E, Doya K
  • 産業財産権種類: 特許
  • 産業財産権番号: 10896383
• [学会・シンポジウム開催] International Symposium on Artificial Intelligence and Brain Science 2020 (2020)