• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

感覚神経回路における同期発火の神経機構とその情報科学的意義の解明

Research Project

Project/Area Number 14J08282
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Soft computing
Research InstitutionThe University of Tokyo

Principal Investigator

唐木田 亮  東京大学, 新領域創成科学研究科, 特別研究員(DC1)

Project Period (FY) 2014-04-25 – 2017-03-31
Project Status Completed (Fiscal Year 2016)
Budget Amount *help
¥2,800,000 (Direct Cost: ¥2,800,000)
Fiscal Year 2016: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2015: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2014: ¥1,000,000 (Direct Cost: ¥1,000,000)
Keywordsニューラルネットワーク / 機械学習 / 勾配法 / 深層学習 / 計算論的神経科学 / ボルツマンマシン / 教師無し学習
Outline of Annual Research Achievements

本年度の目的は, 感覚系神経回路を模した数理モデルにおいて, 発火の情報科学的意義を解明することである. 申請当初の研究実施計画では生理実験の研究者と共同し, 感覚系の神経細胞集団における同期発火のデータ解析を想定していたが, 本年度はモデルと学習手法の理論構築に従事した. これは, 前年度までの研究が機械学習の手法として工学的に利用価値が高いため, 数理の立場からだけでも情報科学的意義の解明を十分に推進できると考えたためである.
神経回路モデルを機械学習の視点から観ると, 階層型モデルでは規格化因子の計算が困難である. この困難性を回避する学習手法の確立は工学的に意義深い. そこで本年度は規格化因子の計算を避ける学習手法として知られるscore matching法の幾何学的な特徴の解析とその特徴を活かしたアルゴリズムの開発を行った. 神経回路モデルの学習において, アルゴリズムは学習の収束を高速化することに成功した.
また, 階層型モデルは画像・音声認識において近年, 高い性能を発揮しているが, その学習を可能にする技術の中でも勾配法は重要である. そのような勾配法の中でWeight Normalizationと呼ばれる手法に着目し, この手法が学習の収束を高速化するメカニズムを理論とシミュレーションから明らかにした.
さらに, 前年度からの継続研究として, 生理学的に妥当な対数重み分布の結合によって自発発火を再現するモデルをシミュレーションにより解析した. その結果, 入力刺激に応じて脳波に近い周波数を持つ集団同期と発火・非発火の双安定状態が実現することを明らかにした.
以上の研究成果をまとめて, 国内学会7件における発表, および査読有り国際学会における3件の発表, 査読有り英文誌における2件の発表を行った.

Research Progress Status

28年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

28年度が最終年度であるため、記入しない。

Report

(3 results)
  • 2016 Annual Research Report
  • 2015 Annual Research Report
  • 2014 Annual Research Report
  • Research Products

    (31 results)

All 2017 2016 2015 2014 Other

All Journal Article (7 results) (of which Peer Reviewed: 6 results,  Acknowledgement Compliant: 4 results,  Open Access: 1 results) Presentation (23 results) (of which Int'l Joint Research: 6 results,  Invited: 4 results) Remarks (1 results)

  • [Journal Article] Statistical mechanical analysis of online learning with weight normalization in single layer perceptron2017

    • Author(s)
      Yuki Yoshida, Ryo Karakida, Masato Okada, Shun-ichi Amari
    • Journal Title

      Journal of the Physical Society of Japan

      Volume: 86 Issue: 4 Pages: 044002-044002

    • DOI

      10.7566/jpsj.86.044002

    • NAID

      210000134329

    • Related Report
      2016 Annual Research Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Input Response of Neural Network Model with Lognormally Distributed Synaptic Weights2016

    • Author(s)
      Yoshihiro Nagano, Ryo Karakida, Norifumi Watanabe, Atsushi Aoyama, and Masato Okada
    • Journal Title

      Journal of the Physical Society of Japan

      Volume: 85(7) Issue: 7 Pages: 1-7

    • DOI

      10.7566/jpsj.85.074001

    • NAID

      40020880769

    • Related Report
      2016 Annual Research Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Adaptive natural gradient learning algorithms for unnormalized statistical models2016

    • Author(s)
      Ryo Karakida, Masato Okada, Shun-ichi Amari
    • Journal Title

      Lecture Notes in Computer Science (ICANN2016)

      Volume: - Pages: 427

    • DOI

      10.1007/978-3-319-44778-0_50

    • ISBN
      9783319447773, 9783319447780
    • Related Report
      2016 Annual Research Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Adaptive natural gradient learning based on Riemannian metric of score matching2016

    • Author(s)
      Ryo Karakida, Masato Okada, Shun-ichi Amari
    • Journal Title

      4th International Conference on Learning Representations (ICLR)- Workshop Track

      Volume: - Pages: 1-6

    • Related Report
      2016 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Weight Normalizationによる高速なオンライン学習の統計力学的解析2016

    • Author(s)
      吉田雄紀, 唐木田亮, 岡田真人, 甘利俊一
    • Journal Title

      電子情報通信学会技術研究報告(IBISML)

      Volume: 116 Pages: 101-108

    • Related Report
      2016 Annual Research Report
  • [Journal Article] Dynamical analysis of contrastive divergence learning: Restricted Boltzmann machines with Gaussian visible units2016

    • Author(s)
      Ryo Karakida, Masato Okada, Shun-ichi Amari
    • Journal Title

      Neural Networks

      Volume: 79 Pages: 78

    • DOI

      10.1016/j.neunet.2016.03.013

    • Related Report
      2015 Annual Research Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Maximum likelihood learning of RBMs with Gaussian visible units on the Stiefel manifold2016

    • Author(s)
      Ryo Karakida, Masato Okada, Shun-ichi Amari
    • Journal Title

      Proceedings of European Symposium on Artificial Neural Networks (ESANN) 2016

      Volume: 印刷中

    • Related Report
      2015 Annual Research Report
    • Peer Reviewed
  • [Presentation] 結合重みの最急勾配における動径座標の効果2017

    • Author(s)
      唐木田亮, 岡田真人, 甘利俊一
    • Organizer
      日本物理学会第72回年次大会
    • Place of Presentation
      大阪大学(大阪府・吹田市)
    • Year and Date
      2017-03-18
    • Related Report
      2016 Annual Research Report
  • [Presentation] 深層生成モデルにおける概念形成の数値的検証2017

    • Author(s)
      長野祥大, 唐木田亮, 岡田真人
    • Organizer
      日本物理学会第72回年次大会
    • Place of Presentation
      大阪大学(大阪府・吹田市)
    • Year and Date
      2017-03-18
    • Related Report
      2016 Annual Research Report
  • [Presentation] Weight Normalizationに基づく自然勾配法の実現2016

    • Author(s)
      唐木田亮, 岡田真人, 甘利俊一
    • Organizer
      IBIS2016
    • Place of Presentation
      京都大学(京都府・京都市)
    • Year and Date
      2016-11-17
    • Related Report
      2016 Annual Research Report
  • [Presentation] 学習の力学理論の温故知新ー平衡点解析と統計力学的解析ー2016

    • Author(s)
      唐木田亮
    • Organizer
      日本神経回路学会時限研究会「ニューラルネットの温故知新」
    • Place of Presentation
      電気通信大学(東京都・調布市)
    • Year and Date
      2016-09-27
    • Related Report
      2016 Annual Research Report
    • Invited
  • [Presentation] Adaptive natural gradient learning algorithms for unnormalized statistical models2016

    • Author(s)
      Ryo Karakida, Masato Okada, Shun-ichi Amari
    • Organizer
      25th International Conference on Artificial Neural Networks (ICANN)
    • Place of Presentation
      バルエセロナ(スペイン)
    • Year and Date
      2016-09-07
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Gaussian-Bernoulli RBMにおける最尤学習を効率化する直交制約2016

    • Author(s)
      唐木田亮, 岡田真人, 甘利俊一
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州国際会議場(福岡県・北九州市)
    • Year and Date
      2016-06-09
    • Related Report
      2016 Annual Research Report
  • [Presentation] 発火不規則性と集団振動現象を両立する神経回路モデルとその機能的意義2016

    • Author(s)
      長野祥大, 唐木田亮, 渡邊紀文, 青山敦, 岡田真人
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州国際会議場(福岡県・北九州市)
    • Year and Date
      2016-06-06
    • Related Report
      2016 Annual Research Report
  • [Presentation] Adaptive natural gradient learning based on Riemannian metric of score matching2016

    • Author(s)
      Ryo Karakida, Masato Okada, Shun-ichi Amari
    • Organizer
      4th International Conference on Learning Representations (ICLR)- Workshop Track
    • Place of Presentation
      サンファン(プエルトリコ)
    • Year and Date
      2016-05-02
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Maximum likelihood learning of RBMs with Gaussian visible units on the Stiefel manifold2016

    • Author(s)
      Ryo Karakida, Masato Okada, Shun-ichi Amari
    • Organizer
      European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning (ESANN)
    • Place of Presentation
      ブリュージュ(ベルギー)
    • Year and Date
      2016-04-27
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 不規則自発発火活動を示す神経回路モデルの外部入力応答2016

    • Author(s)
      長野祥大, 唐木田亮, 渡邊紀文, 青山敦, 岡田真人
    • Organizer
      ニューロコンピューティング研究会
    • Place of Presentation
      玉川大学(東京都町田市)
    • Year and Date
      2016-03-23
    • Related Report
      2015 Annual Research Report
  • [Presentation] 直交制約に基づく連続値入力RBMの最尤学習2016

    • Author(s)
      唐木田亮, 岡田真人, 甘利俊一
    • Organizer
      日本物理学会第71回年次大会
    • Place of Presentation
      東北学院大学(宮城県仙台市)
    • Year and Date
      2016-03-22
    • Related Report
      2015 Annual Research Report
  • [Presentation] 対数正規重みを持つ自発発火回路モデルの外部入力応答2016

    • Author(s)
      長野祥大, 唐木田亮, 渡邊紀文, 青山敦, 岡田真人
    • Organizer
      日本物理学会第71回年次大会
    • Place of Presentation
      東北学院大学(宮城県仙台市)
    • Year and Date
      2016-03-21
    • Related Report
      2015 Annual Research Report
  • [Presentation] Efficient learning algorithms for finding maximum likelihood solutions in restricted Boltzmann machines2015

    • Author(s)
      Ryo Karakida
    • Organizer
      Break and Beyond Detailed Balance Condition (BBDBC2015)
    • Place of Presentation
      京都大学(京都府京都市)
    • Year and Date
      2015-12-22
    • Related Report
      2015 Annual Research Report
    • Invited
  • [Presentation] Stiefel多様体における連続値入力RBMの最尤推定2015

    • Author(s)
      唐木田亮, 岡田真人, 甘利俊一
    • Organizer
      IBIS2015
    • Place of Presentation
      つくば国際会議場(茨城県つくば市)
    • Year and Date
      2015-11-27
    • Related Report
      2015 Annual Research Report
  • [Presentation] On the capability of restricted Boltzmann machine learning to extract appropriate input features2015

    • Author(s)
      Ryo Karakida
    • Organizer
      International Symposium on Object Vision in Human, Monkey, and Machine
    • Place of Presentation
      電気通信大学(東京都調布市)
    • Year and Date
      2015-11-06
    • Related Report
      2015 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] 連続値RBMにおける最尤推定とContrastive Divergence推定の一致2015

    • Author(s)
      唐木田亮, 岡田真人, 甘利俊一
    • Organizer
      2015年度統計関連学会連合大会
    • Place of Presentation
      岡山大学(岡山県岡山市)
    • Year and Date
      2015-09-08
    • Related Report
      2015 Annual Research Report
  • [Presentation] 不規則自発発火回路が示す入力駆動の集団振動2015

    • Author(s)
      長野祥大, 唐木田亮, 渡邊紀文, 青山敦, 岡田真人
    • Organizer
      第25回日本神経回路学会全国大会
    • Place of Presentation
      電気通信大学(東京都調布市)
    • Year and Date
      2015-09-02
    • Related Report
      2015 Annual Research Report
  • [Presentation] Identifying Feature Components Extracted by Contrastive Divergence Learning in Gaussian RBMs2015

    • Author(s)
      Ryo Karakida
    • Organizer
      MLSS2015
    • Place of Presentation
      京都大学(京都府京都市)
    • Year and Date
      2015-08-23
    • Related Report
      2015 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Equilibrium Analysis of Representation Learning in Gaussian RBMs2015

    • Author(s)
      Ryo Karakida
    • Organizer
      New Frontiers in Non-equilibrium Physics 2015
    • Place of Presentation
      京都大学(京都府京都市)
    • Year and Date
      2015-07-21
    • Related Report
      2015 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] 連続値RBMにおけるContrastive Divergence学習の平衡点解析2015

    • Author(s)
      唐木田亮, 岡田真人, 甘利俊一
    • Organizer
      日本物理学会第70回年次大会
    • Place of Presentation
      早稲田大学 (東京都新宿区)
    • Year and Date
      2015-03-21 – 2015-03-24
    • Related Report
      2014 Annual Research Report
  • [Presentation] Analysis of input features extracted by contrastive divergence learning in restricted Boltzmann machines2015

    • Author(s)
      Ryo Karakida, Masato Okada, Shun-ichi Amari
    • Organizer
      脳と心のメカニズム 第15回冬のワークショップ
    • Place of Presentation
      ルスツリゾート (北海道留寿都村)
    • Year and Date
      2015-01-07 – 2015-01-09
    • Related Report
      2014 Annual Research Report
  • [Presentation] Analyzing feature extraction by contrastive divergence learning in RBMs2014

    • Author(s)
      Ryo Karakida, Masato Okada, Shun-ichi Amari
    • Organizer
      Deep Learning And Representation Learning Workshop: NIPS2014
    • Place of Presentation
      モントリオール (カナダ)
    • Year and Date
      2014-12-12
    • Related Report
      2014 Annual Research Report
  • [Presentation] Analysis of feature extraction by contrastive divergence learning in restricted Boltzmann machines2014

    • Author(s)
      Ryo Karakida, Masato Okada, Shun-ichi Amari
    • Organizer
      日本神経回路学会第24回全国大会 (JNNS2014)
    • Place of Presentation
      公立はこだて未来大学 (北海道函館市)
    • Year and Date
      2014-08-27 – 2014-08-29
    • Related Report
      2014 Annual Research Report
  • [Remarks] 岡田真人研究室ホームページ

    • URL

      http://mns.k.u-tokyo.ac.jp/~karakida/

    • Related Report
      2014 Annual Research Report

URL: 

Published: 2015-01-22   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi