• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

統計力学的近似理論を用いた確率的深層学習アルゴリズムの開発

Research Project

Project/Area Number 17J03081
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Soft computing
Research InstitutionTohoku University

Principal Investigator

高橋 茶子  東北大学, 情報科学研究科, 特別研究員(DC1)

Project Period (FY) 2017-04-26 – 2020-03-31
Project Status Completed (Fiscal Year 2019)
Budget Amount *help
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2019: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2018: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2017: ¥900,000 (Direct Cost: ¥900,000)
Keywords高次ボルツマンマシン / 平均場近似 / 制限ボルツマンマシン / ボルツマンマシン / TAP 近似
Outline of Annual Research Achievements

平成30年度終了時点では、本年度は、(i) 平成30年度までの研究で得られている適応 TAP 方程式の導出法のさらなる一般化、(ii) 平均場近似アルゴリズムの実システムへの応用の二点についての研究を進める予定であった。しかしながら、残りの期間での研究の進展可能性を考慮し、本年度は (i) の一点に集中して研究を行うこととした。
この目的に対する取り組みで得られた主な結果は、平成30年度の研究で得られた提案手法により導出した、高次ボルツマンマシンに対する適応 TAP 方程式に準ずる近似方程式に関連する。統計物理における基礎的な多体相互作用モデルである p-spin Ising 模型に対して提案手法を用いて導出される近似方程式が、適応 TAP 方程式が満たすべき重要な性質の一つを再現することを示した。p-spin Ising 模型は高次マルコフ確率場の一つであるため、この結果から、高次マルコフ確率場に対する提案手法により導かれる近似方程式が、従来の適応 TAP 方程式の持つ性質の一つを持つことが明らかとなった。以上の成果の一部をまとめた論文は現在査読中であり、プレプリント版を令和2年3月9日に更新している。
このほかに、機械学習においてしばしば用いられるマルコフ確率場の一つ、制限ボルツマンマシンについての研究も行った。制限ボルツマンマシンの推論および学習の計算には平均場近似が有効であることが知られており、上記の研究で扱った適応 TAP 近似をこれらの計算に応用することで何らかの貢献があることが期待されるが、現時点で明らかになっていることは少ない。これを明らかにするための第一ステップとして、制限ボルツマンマシンの確率変数の典型的な挙動を調べるため、レプリカ法を用いた解析を行った。この結果の一部を令和元年6月に行われた国際会議にて発表した。

Research Progress Status

令和元年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和元年度が最終年度であるため、記入しない。

Report

(3 results)
  • 2019 Annual Research Report
  • 2018 Annual Research Report
  • 2017 Annual Research Report
  • Research Products

    (11 results)

All 2019 2018 2017

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (9 results) (of which Int'l Joint Research: 4 results,  Invited: 1 results)

  • [Journal Article] Statistical-Mechanical Analysis of Compressed Sensing for Hamiltonian Estimation of Ising Spin Glass2018

    • Author(s)
      Takahashi Chako、Ohzeki Masayuki、Okada Shuntaro、Terabe Masayoshi、Taguchi Shinichiro、Tanaka Kazuyuki
    • Journal Title

      Journal of the Physical Society of Japan

      Volume: 87 Issue: 7 Pages: 074001-074001

    • DOI

      10.7566/jpsj.87.074001

    • NAID

      210000134891

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Quantum annealing: next-generation computation and how to implement it when information is missing2018

    • Author(s)
      Ohzeki Masayuki、Takahashi Chako、Okada Shuntaro、Terabe Masayoshi、Taguchi Shinichiro、Tanaka Kazuyuki
    • Journal Title

      Nonlinear Theory and Its Applications, IEICE

      Volume: 9 Issue: 4 Pages: 392-405

    • DOI

      10.1587/nolta.9.392

    • NAID

      130007491589

    • ISSN
      2185-4106
    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] Statistical-mechanical analysis of restricted Boltzmann machine with transverse field2019

    • Author(s)
      Chako Takahashi, Masayuki Ohzeki and Kazuyuki Tanaka
    • Organizer
      Adiabatic Quantum Computing Conference 2019 (AQC-19)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 統計的機械学習への発展的な平均場近似の応用2018

    • Author(s)
      高橋茶子,安田宗樹
    • Organizer
      第30回 RAMP シンポジウム (RAMP2018)
    • Related Report
      2018 Annual Research Report
    • Invited
  • [Presentation] 適応 Thouless-Anderson-Palmer 近似による勾配法を用いた制限ボルツマンマシンの学習2018

    • Author(s)
      高橋茶子,安田宗樹,田中和之
    • Organizer
      第21回情報論的学習理論ワークショップ (IBIS2018) テクニカルトラック
    • Related Report
      2018 Annual Research Report
  • [Presentation] Statistical mechanical analysis of Hamiltonian estimation of Ising spin glass based on the framework of statistical query learning2018

    • Author(s)
      Chako Takahashi, Masayuki Ohzeki, Shuntaro Okada, Masayoshi Terabe, Shinichiro Taguchi and Kazuyuki Tanaka
    • Organizer
      Adiabatic Quantum Computing Conference 2018 (AQC-18)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Learning restricted Boltzmann machine via the adaptive Thouless-Anderson-Palmer mean-field approximation2018

    • Author(s)
      Chako Takahashi, Muneki Yasuda and Kazuyuki Tanaka
    • Organizer
      Statistical Physics of Disordered Systems and Its Applications (SPDSA2018)
    • Related Report
      2018 Annual Research Report
  • [Presentation] Statistical Mechanical Analysis of Hamiltonian Estimation of Ising Spin Glass Based on the Framework of Statistical Query Learning2018

    • Author(s)
      Chako Takahashi, Masayuki Ohzeki, Shuntaro Okada, Masayoshi Terabe, Shinichiro Taguchi, Kazuyuki Tanaka
    • Organizer
      Quantum Machine Learning & Biomimetic Quantum Technologies (QMLBQT2018)
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Improved Susceptibility Propagation と Diagonal Trick Method による適応 Thouless-Anderson-Palmer 方程式の導出2018

    • Author(s)
      高橋茶子、安田宗樹、田中和之
    • Organizer
      情報処理学会第80回全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] Statictical Mechanics Analysis of Compressed Sensing for Hamiltonian Estimation of the Ising Spin Glass2017

    • Author(s)
      Chako Takahashi, Masayuki Ohzeki, Shuntaro Okada, Masayoshi Terabe, Shinichiro Taguchi, Kazuyuki Tanaka
    • Organizer
      International Meeting on “High-Dimensional Data-Driven Science” (HD3-2017)
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 圧縮センシングによるイジング相互作用の推定2017

    • Author(s)
      高橋茶子、大関真之、岡田俊太郎、寺部雅能、田口慎一郎、田中和之
    • Organizer
      日本物理学会2017年秋季大会
    • Related Report
      2017 Annual Research Report

URL: 

Published: 2017-05-25   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi