• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2015 Fiscal Year Annual Research Report

感覚神経回路における同期発火の神経機構とその情報科学的意義の解明

Research Project

Project/Area Number 14J08282
Research InstitutionThe University of Tokyo

Principal Investigator

唐木田 亮  東京大学, 新領域創成科学研究科, 特別研究員(DC1)

Project Period (FY) 2014-04-25 – 2017-03-31
Keywordsニューラルネットワーク / 機械学習 / 深層学習 / 計算論的神経科学
Outline of Annual Research Achievements

前年度からの継続研究対象であるRBMモデルでは, アルゴリズム開発によるRBMモデルの性能の向上を進めた. RBMモデルでは, 既存手法において学習の収束や解の性質の理論保証がない点が短所として知られていた. この問題に対し, 本年度は, シナプス結合パラメータの値を特定の形に制約することで, 最尤解への収束が保証された学習を実現できることを明らかにした. 研究実施計画では入力情報とモデルが表現できる情報の関係を議論することを目的のひとつに挙げていたが, 提案手法はモデルが表現できる情報を特定しながら効率の良い入力情報の抽出が実現可能であることを明らかにしており, 目的のひとつを達成しているといえる.
また本年度は, 同期発火による発火の分離と結合を再現するモデルとして, 昨年度に研究を行った共通入力モデルと異なるモデルの研究も行った. 感覚系を含む脳神経では入力刺激が遮断されても自発的な発火が起こることが生理実験によって報告されている. この自発発火活動を再現する配線構造を組み込んだモデルとして, シナプス結合重みの分布を対数正規分布に制限して再現するSSWDモデルが知られている. SSWDモデルは生理学的に妥当な配線構造や重み分布を取り込んでいるため, 共通入力モデルよりも実際の脳神経に近い挙動を再現できることが期待される. このSSWDモデルにおいて, 入力刺激が加わると自発発火状態が脳波のγ波に対応する集団同期に遷移することをシミュレーション実験によって明らかにした. さらに, 自発発火時と同期発火時の個々のニューロンの発火率は相関していることを定量的に評価できた. 本研究は, SSWDモデルが力入刺激の柔軟な結合と分離を実現できることを示しており, 神経科学の知見としても脳型情報処理デバイスを開発するうえでも重要な発見である.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

申請時の年次計画では, 入力刺激の識別と表現の性能を配線構造を組み込んだ共通入力モデルにおいて, 発火相関を使って評価することを予定していた. しかし共通入力モデルに比べて, 昨年度の研究で解析が大きく進んだRBMモデルの方が, 入力情報の学習まで組み込まれているため, 入力刺激の識別と表現を評価するうえで神経科学的にも工学的にも重要と考えられる. そこで, 本年度は共通入力モデルではなくRBMモデルの解析を進めた. その結果として, 表現の性能を評価したうえで新しい学習手法を提案できたので, おおむね順調に進展しているといえる. また, 入力刺激の識別の評価は, RBMモデルへの入力に教師データも含めれば本年度までの性能評価や提案学習手法を適用できるため, 来年度以降に容易に取り扱うことができる.
RBMモデルの研究の一方で, 本年度は新しくSSWDモデルの解析を所属研究室の学生や外部組織の研究者と共同で行った. 共同研究者の協力もあり, わずか1年足らずで, SSWDモデルが同期発火のメカニズムの解明や情報科学的意義を知るうえで欠かせない現象であるγ波や発火率分布の保存を再現することを突き止めた. SSWDモデルの発火ダイナミクスと入力情報のコーディング・エンコーディングとの関係を定量的に評価することは来年度以降の課題として残っているが, 迅速にSSWDモデルにおける同期発火の再現に成功したことから, おおむね順調に進展しているといえる.

Strategy for Future Research Activity

当初の年次計画では, 採用第3年目は同期発火の定量化を生理学実験データに対して適用することを想定していた. しかし, 近年になって発火の定量化よりも発火と学習の関係を解明することが神経科学の研究で重要視されている. また, 発火の大きさは入力情報の符号化の仕方に大きく依存しており, 学習の定量化を行うことが同期発火の定量化を行うことにつながると期待できる. また工学応用の観点からも, 神経回路を模したニューラルネットワークモデルを使った機械学習が近年盛んに行われており, 感覚系神経回路に類似した反応をする素子や人に近い情報処理性能を達成できることが報告されている. 特に実応用で使われるモデルの構造は, フィードフォワードの多層モデルが多い. このような近年の研究動向に対し, 本研究代表者は単層モデルにおける学習の解析と手法提案, さらに多層モデルである共通入力モデルでの発火ダイナミクス解析まで行っている. したがって, これまでの解析で得た知見を活かすことで, 多層モデルにおける学習の提案や解析を行うことができると期待される. そこで, 採用第3年目は生理実験のデータ解析を行うのではなく, 感覚系神経回路を模した多層モデルの理論解析とシミュレーション実験を行い, 学習とそれによって実現する発火の統計性を包括的に研究する予定である. また, ただ単に理論解析による性能評価を行うだけではなく, 自然画像認識や音声認識といった工学的な実応用に堪える学習手法の提案も併せて実施する予定である.

Remarks

岡田真人研究室ホームページ
http://mns.k.u-tokyo.ac.jp/~karakida/

  • Research Products

    (12 results)

All 2016 2015

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Acknowledgement Compliant: 1 results) Presentation (10 results) (of which Int'l Joint Research: 3 results,  Invited: 3 results)

  • [Journal Article] Dynamical analysis of contrastive divergence learning: Restricted Boltzmann machines with Gaussian visible units2016

    • Author(s)
      Ryo Karakida, Masato Okada, Shun-ichi Amari
    • Journal Title

      Neural Networks

      Volume: 印刷中 Pages: 印刷中

    • DOI

      10.1016/j.neunet.2016.03.013

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Maximum likelihood learning of RBMs with Gaussian visible units on the Stiefel manifold2016

    • Author(s)
      Ryo Karakida, Masato Okada, Shun-ichi Amari
    • Journal Title

      Proceedings of European Symposium on Artificial Neural Networks (ESANN) 2016

      Volume: 印刷中 Pages: 印刷中

    • Peer Reviewed
  • [Presentation] 不規則自発発火活動を示す神経回路モデルの外部入力応答2016

    • Author(s)
      長野祥大, 唐木田亮, 渡邊紀文, 青山敦, 岡田真人
    • Organizer
      ニューロコンピューティング研究会
    • Place of Presentation
      玉川大学(東京都町田市)
    • Year and Date
      2016-03-23
  • [Presentation] 直交制約に基づく連続値入力RBMの最尤学習2016

    • Author(s)
      唐木田亮, 岡田真人, 甘利俊一
    • Organizer
      日本物理学会第71回年次大会
    • Place of Presentation
      東北学院大学(宮城県仙台市)
    • Year and Date
      2016-03-22
  • [Presentation] 対数正規重みを持つ自発発火回路モデルの外部入力応答2016

    • Author(s)
      長野祥大, 唐木田亮, 渡邊紀文, 青山敦, 岡田真人
    • Organizer
      日本物理学会第71回年次大会
    • Place of Presentation
      東北学院大学(宮城県仙台市)
    • Year and Date
      2016-03-21
  • [Presentation] Efficient learning algorithms for finding maximum likelihood solutions in restricted Boltzmann machines2015

    • Author(s)
      Ryo Karakida
    • Organizer
      Break and Beyond Detailed Balance Condition (BBDBC2015)
    • Place of Presentation
      京都大学(京都府京都市)
    • Year and Date
      2015-12-22
    • Invited
  • [Presentation] Stiefel多様体における連続値入力RBMの最尤推定2015

    • Author(s)
      唐木田亮, 岡田真人, 甘利俊一
    • Organizer
      IBIS2015
    • Place of Presentation
      つくば国際会議場(茨城県つくば市)
    • Year and Date
      2015-11-27
  • [Presentation] On the capability of restricted Boltzmann machine learning to extract appropriate input features2015

    • Author(s)
      Ryo Karakida
    • Organizer
      International Symposium on Object Vision in Human, Monkey, and Machine
    • Place of Presentation
      電気通信大学(東京都調布市)
    • Year and Date
      2015-11-06
    • Int'l Joint Research / Invited
  • [Presentation] 連続値RBMにおける最尤推定とContrastive Divergence推定の一致2015

    • Author(s)
      唐木田亮, 岡田真人, 甘利俊一
    • Organizer
      2015年度統計関連学会連合大会
    • Place of Presentation
      岡山大学(岡山県岡山市)
    • Year and Date
      2015-09-08
  • [Presentation] 不規則自発発火回路が示す入力駆動の集団振動2015

    • Author(s)
      長野祥大, 唐木田亮, 渡邊紀文, 青山敦, 岡田真人
    • Organizer
      第25回日本神経回路学会全国大会
    • Place of Presentation
      電気通信大学(東京都調布市)
    • Year and Date
      2015-09-02
  • [Presentation] Identifying Feature Components Extracted by Contrastive Divergence Learning in Gaussian RBMs2015

    • Author(s)
      Ryo Karakida
    • Organizer
      MLSS2015
    • Place of Presentation
      京都大学(京都府京都市)
    • Year and Date
      2015-08-23 – 2015-09-04
    • Int'l Joint Research
  • [Presentation] Equilibrium Analysis of Representation Learning in Gaussian RBMs2015

    • Author(s)
      Ryo Karakida
    • Organizer
      New Frontiers in Non-equilibrium Physics 2015
    • Place of Presentation
      京都大学(京都府京都市)
    • Year and Date
      2015-07-21 – 2015-07-24
    • Int'l Joint Research / Invited

URL: 

Published: 2016-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi