• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2018 年度 実績報告書

統計力学的近似理論を用いた確率的深層学習アルゴリズムの開発

研究課題

研究課題/領域番号 17J03081
研究機関東北大学

研究代表者

高橋 茶子  東北大学, 情報科学研究科, 特別研究員(DC1)

研究期間 (年度) 2017-04-26 – 2020-03-31
キーワード平均場近似 / ボルツマンマシン / TAP 近似
研究実績の概要

平成29年度までに、深層ボルツマンマシンの平均場近似アルゴリズムの定式化および数値シミュレーションが完了している。平均場近似法の中でも発展的な手法である適応 Thouless-Anderson-Palmer (TAP) 近似を用いると、通常の平均場近似よりも優れた近似精度で計算を行うことができる。しかしながら、深層ボルツマンマシンの適応 TAP 方程式(適応 TAP 近似による変数の期待値の近似方程式)の導出は困難であり、通常の導出方法では煩雑な手続きを踏まないことには平均場方程式の導出すらできないという問題がある。
これをふまえて、平成30年度は主に適応 TAP 方程式の導出の一般化に取り組んだ。報告者らは、improved susceptibility propagation [M. Yasuda & K. Tanaka, 2013] を通常の平均場近似に取り入れることで、深層ボルツマンマシンの適応 TAP 方程式に準ずる近似方程式が容易に得られることを見出した。さらにこの結果を拡張し、高次ボルツマンマシンの適応 TAP 方程式に準ずる近似方程式の導出にも成功した。
上記の成果の一部をまとめた論文は現在査読中である。この論文のプレプリント版を平成30年11月に公開している。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

当初計画していた研究内容についての成果をあげることができた。研究計画にはなかった内容についての副次的な成果も得られており、研究は当初の計画以上に進展していると判断した。

今後の研究の推進方策

本研究計画のうち理論整備の部分は、平成30年度までの研究によって概ね達成された。しかしながら報告者は、平成30年度に取り組んだ適応 TAP 方程式の導出法のさらなる一般化が可能であると見込んでいる。平成31年度は、上記導出法のより広いモデルクラスで利用可能な枠組みへの拡張および平均場近似アルゴリズムの実システムへの応用の二点に取り組む予定である。前者には既に取り組み始めており、順調に研究が進めば今年度前半で主な成果を発表することができると考えている。年度後半には、ベンチマーク用のデータや、利用可能である場合は何らかの実データを用いて、本研究で開発してきた平均場近似アルゴリズムの性能評価を行う。

  • 研究成果

    (6件)

すべて 2018

すべて 雑誌論文 (2件) (うち査読あり 2件、 オープンアクセス 2件) 学会発表 (4件) (うち国際学会 1件、 招待講演 1件)

  • [雑誌論文] Statistical-mechanical analysis of compressed sensing for Hamiltonian estimation of Ising spin glass2018

    • 著者名/発表者名
      Chako Takahashi, Masayuki Ohzeki, Shuntaro Okada, Masayoshi Terabe, Shinichiro Taguchi and Kazuyuki Tanaka
    • 雑誌名

      Journal of the Physical Society of Japan

      巻: 87 ページ: 1--7

    • DOI

      https://doi.org/10.7566/JPSJ.87.074001

    • 査読あり / オープンアクセス
  • [雑誌論文] Quantum annealing: next-generation computation and how to implement it when information is missing2018

    • 著者名/発表者名
      Masayuki Ohzeki, Chako Takahashi, Shuntaro Okada, Masayoshi Terabe, Shinichiro Taguchi and Kazuyuki Tanaka
    • 雑誌名

      Nonlinear Theory and Its Applications

      巻: 9 ページ: 392--405

    • DOI

      https://doi.org/10.1587/nolta.9.392

    • 査読あり / オープンアクセス
  • [学会発表] 統計的機械学習への発展的な平均場近似の応用2018

    • 著者名/発表者名
      高橋茶子,安田宗樹
    • 学会等名
      第30回 RAMP シンポジウム (RAMP2018)
    • 招待講演
  • [学会発表] 適応 Thouless-Anderson-Palmer 近似による勾配法を用いた制限ボルツマンマシンの学習2018

    • 著者名/発表者名
      高橋茶子,安田宗樹,田中和之
    • 学会等名
      第21回情報論的学習理論ワークショップ (IBIS2018) テクニカルトラック
  • [学会発表] Statistical mechanical analysis of Hamiltonian estimation of Ising spin glass based on the framework of statistical query learning2018

    • 著者名/発表者名
      Chako Takahashi, Masayuki Ohzeki, Shuntaro Okada, Masayoshi Terabe, Shinichiro Taguchi and Kazuyuki Tanaka
    • 学会等名
      Adiabatic Quantum Computing Conference 2018 (AQC-18)
    • 国際学会
  • [学会発表] Learning restricted Boltzmann machine via the adaptive Thouless-Anderson-Palmer mean-field approximation2018

    • 著者名/発表者名
      Chako Takahashi, Muneki Yasuda and Kazuyuki Tanaka
    • 学会等名
      Statistical Physics of Disordered Systems and Its Applications (SPDSA2018)

URL: 

公開日: 2019-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi