• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2018 年度 実施状況報告書

スパースモデリングと情報統計力学の共進化による柔軟な大規模逆問題解法の開発と応用

研究課題

研究課題/領域番号 18K11463
研究機関東京工業大学

研究代表者

小渕 智之  東京工業大学, 情報理工学院, 助教 (40588448)

研究期間 (年度) 2018-04-01 – 2022-03-31
キーワード情報統計力学 / スパースモデリング / 統計的逆問題 / 機械学習
研究実績の概要

本研究は、スパースモデリング(SpM)と情報統計力学の技術を拡張することで,変数選択・パラメータ推定問題の、より深い数理的理解と実用的数値解法を得ること,および,開発手法を生命・経済などの実データ解析へ応用し,それが使える枠組みであることを実証することが目標である.
本年度はまず,スパース線形回帰に対するモンテカルロ法を用いた変数選択アルゴリズムの考案・改良・開発と,その性能を評価するための理論解析を完了した.性能評価の理論解析についてはすでに論文が出版されており,アルゴリズム開発・数値実験の論文も現在執筆中である.SpMのアルゴリズムは多くが緩和もしくはアドホックな近似に頼っているが,本手法はそれらによらない方法である.計算量をどのくらいかけるかで,荒いが早い近似計算から数値的厳密な計算までをカバーする方法論であり,スパース線形回帰をきちんと解くための標準的方法として位置づけられると考えている.
次に,二値変数間の関係性(ネットワーク)を抽出する手法を開発した.利用した枠組みはボルツマンマシンと呼ばれる機械学習の標準的モデルである.我々の寄与は,データをボルツマンマシンの形式に載せるためのデータの「前処理法」と,抽出された関係のうち信頼のおけるものとそうでないものを峻別する「後処理法」の開発にある.これらは情報理論・計算統計学に基づいた系統的かつ客観的手法である.正解ネットワークが存在する状況下での数値実験を行うことで,これらの手法が正解ネットワークを復元することに強力に寄与することを示し,さらに実際の生物のデータにおいても合理的なネットワークを抽出することを示した.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

上で述べた1つ目の成果であるスパース線形回帰のモンテカルロ法に基づくアルゴリズムは,申請書類に記載した「課題1」に対応しており,これについてはすでに完了したと考えている.また2つ目のネットワークの推定については,残りの課題である「課題2・3」の一部に対応し,それらについても一定の成果が得られていると考える.
ここから当初計画のうち3割以上をすでに達成したと考えており,研究期間がまだ3/4残っていることを考えると,おおむね順調、もしくはそれ以上に進展していると考えるのが妥当である.

今後の研究の推進方策

上で述べたネットワークの推定に関する研究を進めるうちに,この課題に関する需要が極めて高いことに気がついた.そこでもともとの申請ではガウス型のモデルを主に取り扱う,と課題2で述べていたが,ガウス型に限らずより一般の非線形性を持ったモデルを積極的に取り扱うよう研究方向性を拡張修正する.
課題3については,経済でよく使われる動的モデリングのモデルであるベクトル自己回帰モデルに関する技術調査・論点整理を昨年度行った.本年度ではその結果を元に,動的モデリングによる関係性の抽出に本格的に取り組んでいく.ベクトル自己回帰モデルはあくまで線形のモデルだが,非線形性の高いモデルにおいても平均場近似を用いることでアクセス可能である.この点を追求する予定である.

  • 研究成果

    (16件)

すべて 2019 2018

すべて 雑誌論文 (4件) (うち査読あり 4件、 オープンアクセス 4件) 学会発表 (12件) (うち国際学会 4件)

  • [雑誌論文] Objective and efficient inference for couplings in neuronal networks2018

    • 著者名/発表者名
      Yu Terada, Tomoyuki Obuchi, Takuya Isomura, Yoshiyuki Kabashima
    • 雑誌名

      Advances in Neural Information Processing Systems

      巻: 31 ページ: 4976--4985

    • 査読あり / オープンアクセス
  • [雑誌論文] Mean-field theory of graph neural networks in graph partitioning2018

    • 著者名/発表者名
      Tatsuro Kawamoto, Masashi Tsubaki, Tomoyuki Obuchi
    • 雑誌名

      Advances in Neural Information Processing Systems

      巻: 31 ページ: 4366--4376

    • 査読あり / オープンアクセス
  • [雑誌論文] Statistical mechanical analysis of sparse linear regression as a variable selection problem2018

    • 著者名/発表者名
      Tomoyuki Obuchi, Yoshinori Nakanishi-Ohno, Masato Okada, Yoshiyuki Kabashima
    • 雑誌名

      J. Stat. Mech.

      巻: 103401 ページ: 103401

    • 査読あり / オープンアクセス
  • [雑誌論文] Accelerating Cross-Validation in Multinomial Logistic Regression with L1-Regularization2018

    • 著者名/発表者名
      Tomoyuki Obuchi, Yoshiyuki Kabashima
    • 雑誌名

      Journal of Machine Learning Research

      巻: 19 ページ: 1--30

    • 査読あり / オープンアクセス
  • [学会発表] レプリカ法を用いたボルツマンマシンに対する経験ベイズ推定2019

    • 著者名/発表者名
      安田宗樹, 小渕智之
    • 学会等名
      日本物理学会2019年年次大会
  • [学会発表] Elastic-net正則化付き多項ロジスティック回帰における交差検証法の加速2019

    • 著者名/発表者名
      小渕智之, 樺島祥介
    • 学会等名
      日本物理学会2019年年次大会
  • [学会発表] スパース線形回帰モデルにおけるレプリカ交換モンテカルロ法を用いた変数選択2019

    • 著者名/発表者名
      石井奨, 小渕智之, 樺島祥介
    • 学会等名
      日本物理学会2019年年次大会
  • [学会発表] Mean-field theory of graph neural networks in graph partitioning2018

    • 著者名/発表者名
      Tatsuro Kawamoto, Masashi Tsubaki, Tomoyuki Obuchi
    • 学会等名
      NeurIPS2018
    • 国際学会
  • [学会発表] Objective and efficient inference dor couplings in neuronal networks2018

    • 著者名/発表者名
      Yu Terada, Tomoyuki Obuchi, Takuya Isomura, Yoshiyuki Kabashima
    • 学会等名
      NeurIPS2018
    • 国際学会
  • [学会発表] Statistical mechanical analysis of sparse linear regression as a variable selection problem2018

    • 著者名/発表者名
      Tomoyuki Obuchi, Y. Nakanishi-Ohno, M. Okada and Y. Kabashima
    • 学会等名
      Disordered serendipity: a glassy path to discovery
    • 国際学会
  • [学会発表] Accelerating Cross-Validation in Multinomial Logistic Regression with L1-Regularization2018

    • 著者名/発表者名
      Tomoyuki Obuchi and Yoshiyuki Kabashima
    • 学会等名
      Statistical physics and machine learning back together
    • 国際学会
  • [学会発表] 半解析的ブートストラップ法とその応用2018

    • 著者名/発表者名
      小渕智之
    • 学会等名
      第21回情報論的学習理論ワークショップ(IBIS2018)
  • [学会発表] 統計力学的アプローチによるリサンプリング手法の軽量化2018

    • 著者名/発表者名
      小渕智之
    • 学会等名
      第30回RAMPシンポジウム(RAMP2018)
  • [学会発表] 深層学習によるグラフのコミュニティ構造推定II2018

    • 著者名/発表者名
      川本達郎, 椿真史, 小渕智之
    • 学会等名
      日本物理学会2018年秋季大会
  • [学会発表] 非凸正則化付き線形回帰における復号性能2018

    • 著者名/発表者名
      坂田綾香, 小渕智之
    • 学会等名
      日本物理学会2018年秋季大会
  • [学会発表] LASSO+半解析的ブートストラップ法を用いた現実的な変数選択法2018

    • 著者名/発表者名
      小渕智之, 樺島祥介
    • 学会等名
      日本物理学会2018年秋季大会

URL: 

公開日: 2019-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi