• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2019 年度 実施状況報告書

深層学習からのデータ相関構造マイニング理論の開拓

研究課題

研究課題/領域番号 18K11459
研究機関山形大学

研究代表者

安田 宗樹  山形大学, 大学院理工学研究科, 准教授 (20532774)

研究期間 (年度) 2018-04-01 – 2021-03-31
キーワード深層学習 / 人工知能 / 情報統計力学 / ベイズ統計 / 逆問題 / アルゴリズム
研究実績の概要

本研究計画は、深層学習に関わるブラックボックス問題解決に向けたアプローチを統計力学及びベイズ統計的手法等に基づき確立することを目的としている。
令和1年度は主に以下に述べる成果を得ている。

ベイズ統計に基づくニューラルネットワークモデルの逆問題の解法:ニューラルネットワークの(教師あり)学習は入力と出力に対応する訓練データを用いてモデルパラメータの最適化を行う。ニューラルネットワークは入力から出力を算出することは容易である一方、その逆、即ち、出力から入力を推定することは一般には難しい。本研究では、ベイズ統計と統計力学的近似推論法である平均場近似を用いてこの逆問題の解法を定式化する。逆問題の考え方は本研究計画の主題において重要である。出力から入力を推定することができれば、ニューラルネットワークシステムが目的の出力に対して尤もらしい入力を求めることができ、そのシステムが入力をどのように見て結果へとつなげているのかが明らかとなるからです。この成果は昨年度からの継続課題である。今年度は昨年度の成果を拡張して、逆問題解法のアルゴリズムを改良し、また、更に入出力間の相互情報量の解析も進めた。相互情報量の解析からは各入力要素の結果に対する重要性を情報理論の立場から明らかとすることができる。以上の成果は情報処理学会第82回全国大会にて発表済みであり、現在論文執筆準備中である。

その他の成果:確率的深層学習モデルにおける新しい学習アルゴリズムの提案(新しいスパース正則化付き学習の提案や汎化性能に優れた新しいモデルの提案)などが挙げられる。これらの成果は情報処理学会第82回全国大会にて発表済みであり、また、その拡張的成果は国際学会の論文として投稿済みとなっている。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

【研究実績の概要】で述べた「ベイズ統計に基づくニューラルネットワークモデルの逆問題の解法」の成果は本研究計画の核となる目的に対して直接的なアプローチを可能にする理論構築に成功しており、当初計画を超えて本研究計画を成功へと導くものであると考えている。

また、確率的深層学習モデルに対する研究成果も深まってきており、そのモデルを通した本研究計画への上記とは別アプローチの可能性も現実味を帯びてきており、本研究計画を多角的視点から進めていける状況となった。

今後の研究の推進方策

ベイズ統計に基づくニューラルネットワークモデルの逆問題の解法」は今年度の成果より、かなり実践的な状況に対応できる理論となった。今後は、現実的なデータ(各種ベンチマークデータやその他の個別データ)に基づき相関構造マイニングを実践して、本計画研究の核となる研究目的に対する成功例を作り上げることが目標となる。

また、確率的深層学習モデルを基礎としたアプローチも更に深めていく予定である。

次年度使用額が生じた理由

新型コロナウイルスの影響で参加予定であった学会・研究会等が中止(または現地開催中止)となり、その分として計上していた予算が次年度使用額となった。
次年度使用額は本年度中止になった分の参加学会・研究会を次年度に移し、次年度使用額をそれらの旅費として使用する予定である。

備考

成果に関する web ページ
http://www.adv-pip.yz.yamagata-u.ac.jp/~muneki/index.html

  • 研究成果

    (21件)

すべて 2020 2019

すべて 雑誌論文 (10件) (うち国際共著 3件、 査読あり 10件、 オープンアクセス 7件) 学会発表 (10件) (うち国際学会 5件、 招待講演 2件) 図書 (1件)

  • [雑誌論文] An efficient test method for noise robustness of deep neural networks2019

    • 著者名/発表者名
      Muneki Yasuda, Hironori Sakata, Seung-Il Cho, Tomochika Harada, Atushi Tanaka, and Michio Yokoyama
    • 雑誌名

      Nonlinear Theory and Its Applications, IEICE

      巻: 10 ページ: 221~235

    • DOI

      10.1587/nolta.10.221

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Bayesian Image Denoising with Multiple Noisy Images2019

    • 著者名/発表者名
      Shun Kataoka and Muneki Yasuda
    • 雑誌名

      The Review of Socionetwork Strategies

      巻: 13 ページ: 267~280

    • DOI

      10.1007/s12626-019-00043-3

    • 査読あり / オープンアクセス
  • [雑誌論文] Restricted Boltzmann Machine with Multivalued Hidden Variables: a model suppressing over-fitting2019

    • 著者名/発表者名
      Yuuki Yokoyama, Tomu Katsumata, and Muneki Yasuda
    • 雑誌名

      The Review of Socionetwork Strategies

      巻: 12 ページ: 253~266

    • DOI

      10.1007/s12626-019-00042-4

    • 査読あり / オープンアクセス
  • [雑誌論文] Detection of human-interaction network using Markov random field2019

    • 著者名/発表者名
      Muneki Yasuda, Kouta Katou, Yoshitaka Mikuni, Yuuki Yokoyama, Tomochika Harada, Atsushi Tanaka, and Michio Yokoyama
    • 雑誌名

      Nonlinear Theory and Its Applications, IEICE

      巻: 10 ページ: 485~495

    • DOI

      10.1587/nolta.10.485

    • 査読あり / オープンアクセス
  • [雑誌論文] Estimation of sleep onset and awaking time using a deep neural network with physiological data during sleep2019

    • 著者名/発表者名
      Minami Tsuchiya, Atsushi Tanaka, Muneki Yasuda, Tomochika Harada, Seung-Il Cho, and Michio Yokoyama
    • 雑誌名

      Nonlinear Theory and Its Applications, IEICE

      巻: 10 ページ: 366~372

    • DOI

      10.1587/nolta.10.366

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Sublinear Computational Time Modeling by Momentum-Space Renormalization Group Theory in Statistical Machine Learning Procedures2019

    • 著者名/発表者名
      Kazuyuki Tanaka, Masayuki Ohzeki, and Muneki Yasuda
    • 雑誌名

      The Review of Socionetwork Strategies

      巻: 13 ページ: 281~306

    • DOI

      10.1007/s12626-019-00053-1

    • 査読あり / オープンアクセス
  • [雑誌論文] Empirical Bayes method for Boltzmann machines2019

    • 著者名/発表者名
      Muneki Yasuda and Tomoyuki Obuchi
    • 雑誌名

      Journal of Physics A: Mathematical and Theoretical

      巻: 53 ページ: 014004~014004

    • DOI

      10.1088/1751-8121/ab57a7

    • 査読あり / オープンアクセス
  • [雑誌論文] Improvement of Batch Normalization in Imbalanced Data2019

    • 著者名/発表者名
      Muneki Yasuda and Seishirou Ueno
    • 雑誌名

      Proceedings of the 2019 International Symposium on Nonlinear Theory and its Applications

      巻: - ページ: 146~149

    • 査読あり
  • [雑誌論文] A Study on the Relation Between the Estimated Sleep Satisfaction Levels Using Multiple Regression Analysis and Autonomic Nervous System2019

    • 著者名/発表者名
      Seung-Il Cho, Minami Tsuchiya, Atsushi Tanaka, Muneki Yasuda, Tomochika Harada, and Michio Yokoyama
    • 雑誌名

      Proceedings of the 2019 International Symposium on Nonlinear Theory and its Applications

      巻: - ページ: 153~156

    • 査読あり / 国際共著
  • [雑誌論文] Overcoming Chasm Phenomena in Diffusion on Cookpad Community2019

    • 著者名/発表者名
      Atsushi Tanaka, Shin Nagasawa, Muneki Yasuda, Tomochika Harada, and Michio Yokoyama
    • 雑誌名

      Proceedings of the 2019 International Symposium on Nonlinear Theory and its Applications

      巻: - ページ: 150~152

    • 査読あり
  • [学会発表] ボルツマンマシンのグラフマイニングへの応用2020

    • 著者名/発表者名
      安田宗樹
    • 学会等名
      電子情報通信学会総合大会
    • 招待講演
  • [学会発表] スパース中間層を持つ制限ボルツマンマシン分類器2020

    • 著者名/発表者名
      勝亦利宗,安田宗樹
    • 学会等名
      情報処理学会第82回全国大会
  • [学会発表] 経験ベイズ法を用いた連続値ボルツマンマシンのハイパーパラメータ推定2020

    • 著者名/発表者名
      加藤航太,安田宗樹
    • 学会等名
      情報処理学会第82回全国大会
  • [学会発表] ニューラルネットワーク上の入出力逆問題と相互情報量の解析2020

    • 著者名/発表者名
      千田翼,安田宗樹
    • 学会等名
      情報処理学会第82回全国大会
  • [学会発表] 確率的極端学習機械による制限ボルツマンマシン分類器の多層化2020

    • 著者名/発表者名
      菅野友理,安田宗樹
    • 学会等名
      情報処理学会第82回全国大会
  • [学会発表] Linear-Time Algorithm in Bayesian Image Denoising based on Gaussian Markov Random Field2019

    • 著者名/発表者名
      Muneki Yasuda
    • 学会等名
      International Workshop on Innovative Algorithms for Big Data
    • 国際学会
  • [学会発表] Improvement of Batch Normalization in Imbalanced Data2019

    • 著者名/発表者名
      Muneki Yasuda and Seishirou Ueno
    • 学会等名
      2019 International Symposium on Nonlinear Theory and its Applications
    • 国際学会
  • [学会発表] A Study on the Relation Between the Estimated Sleep Satisfaction Levels Using Multiple Regression Analysis and Autonomic Nervous System2019

    • 著者名/発表者名
      Seung-Il Cho, Minami Tsuchiya, Atsushi Tanaka, Muneki Yasuda, Tomochika Harada, and Michio Yokoyama
    • 学会等名
      2019 International Symposium on Nonlinear Theory and its Applications
    • 国際学会
  • [学会発表] Overcoming Chasm Phenomena in Diffusion on Cookpad Community2019

    • 著者名/発表者名
      Atsushi Tanaka, Shin Nagasawa, Muneki Yasuda, Tomochika Harada, and Michio Yokoyama
    • 学会等名
      2019 International Symposium on Nonlinear Theory and its Applications
    • 国際学会
  • [学会発表] Empirical Bayes method for Boltzmann machines2019

    • 著者名/発表者名
      Muneki Yasuda
    • 学会等名
      Workshop on Statistical Physics of Disordered Systems and Its Applications
    • 国際学会 / 招待講演
  • [図書] スパースモデリング 理論、アルゴリズム、応用2019

    • 著者名/発表者名
      Irina Rish、Genady Ya. Grabarnik、竹澤邦夫、大関真之、高橋茶子、竹田晃人、徳田悟、藤本晃司、安田宗樹
    • 総ページ数
      248
    • 出版者
      ジャムハウス
    • ISBN
      978-4-906768-73-8

URL: 

公開日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi