• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2019 Fiscal Year Research-status Report

ベイズ推定の手法に基づく行列分解問題の研究

Research Project

Project/Area Number 18K11175
Research InstitutionIbaraki University

Principal Investigator

竹田 晃人  茨城大学, 理工学研究科(工学野), 准教授 (70397040)

Project Period (FY) 2018-04-01 – 2023-03-31
Keywords行列分解 / ベイズ推定 / 神経回路網理論 / 簡約ダイナミクス / スパース性
Outline of Annual Research Achievements

当該年度は、前年度に残された課題である変分ベイズ解に基づく行列分解アルゴリズムのダイナミクス解析を主として行った。具体的には、神経回路網理論における想起ダイナミクス解析法として知られる甘利・馬被ダイナミクスを解析手法として利用し、行列分解アルゴリズムの挙動を少数の動的変数を持つ簡約ダイナミクス式で記述することを目的とした。結果として、特定の実験条件の下では解析的に得られた簡約ダイナミクス式と実際の行列分解アルゴリズムの挙動が一致することが分かった。一方で、両者の挙動が明らかにずれる実験条件も存在することが分かった。さらに両者のずれを修正すべく簡約ダイナミクス式の高精度化も試みた。上記の結果は、様々な分野の国内学会および国内研究会で発表した。また出版物として研究会報告の形で既に公表している。
上記解析と並行して、スパース性を持つ行列分解アルゴリズムに関するハイパーパラメータの調整法に関する研究を前年度に続き行った。当該年度の成果として、行列分解とスパース性のハイパーパラメータの調整を同時に実行するアルゴリズムのプロトタイプを構築した。このアルゴリズムを動作させたところ、実際にハイパーパラメータを適切な値に調整しつつスパースな分解行列解を求められることが分かっている。この結果については現在論文への投稿を準備している。
さらに新たな課題として、ベイズ推定に基づく行列分解アルゴリズムの半教師あり学習への応用に取り組み始めている。
この他に行列分解問題に関連する機械学習の問題として、確率伝搬アルゴリズムを用いた重み付きグラフに対する最大被覆アルゴリズムとその文書要約問題への応用、神経細胞の時系列活動データに対するモンテカルロ法に基づく解析手法の開発等を行った。一部の研究については学術誌論文および国際会議論文が既に出版されている。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究課題中の主要な問題の一つとして掲げた行列分解アルゴリズムの挙動の解析については、当該年度に大きな進展があった。具体的には、アルゴリズムの挙動を記述する簡約ダイナミクス式の原型が得られ、また簡約ダイナミクス式が実際の行列分解アルゴリズムを正しく記述する条件についてもある程度知見が得られた。これらの成果については、研究会報告、学会発表の形で既に公表している。
以上の解析に加え、ベイズ推定に基づく行列分解アルゴリズムの半教師あり学習への応用という新しい課題に関しても着手している。
従って本研究課題の計画は順調に進んでいると判断した。

Strategy for Future Research Activity

次年度の研究として以下を計画している。
まず、行列分解アルゴリズムおよび現時点で得られている簡約ダイナミクス式の挙動の差異を継続して調べる。まず両者のダイナミクスの収束後の性質を比較することで、簡約ダイナミクス式の固定点が分解行列解自体の正しい性質を反映しているかを確かめる。次に簡約ダイナミクス式に補正を加えることで、両者の動的挙動自体の差異を小さくすることを試みる。以上については部分的に成果がまとまった時点で順次論文にまとめ、論文誌への投稿を行う。
次に、提案した行列分解アルゴリズムのダイナミクスの解析手法を、変分ベイズ解に基づくアルゴリズムだけでなく座標降下法に基づく他の行列分解アルゴリズムにも適用し、提案した解析手法がより一般的なアルゴリズムで有効かを調べる。
以上のダイナミクス解析と同時に、これまでに研究を行ってきたスパース性を持つ行列分解アルゴリズムに関するハイパーパラメータの調整法について、追加の数値実験を行うことで完成させ、論文誌へ投稿し成果の公表を行う。
これらとは別に行列分解アルゴリズムの応用の研究も実施する。具体的には、既に開始している半教師あり学習への応用については継続し、新たな課題として神経活動データ解析への応用も試みる。

Causes of Carryover

当該年度末に参加予定だった諸分野の学会が新型コロナウイルスの影響によりすべて現地開催中止となったため、これらに使用する予定だった旅費が未使用額として残った。残額は、次年度の学会参加旅費、数値計算用の計算機の更新費、ソフトウェア購入費として使用する予定である。

  • Research Products

    (20 results)

All 2020 2019 Other

All Journal Article (4 results) (of which Peer Reviewed: 2 results) Presentation (14 results) (of which Int'l Joint Research: 1 results) Book (1 results) Remarks (1 results)

  • [Journal Article] Belief Propagation for Maximum Coverage on Weighted Bipartite Graph and Application to Text Summarization2020

    • Author(s)
      Hiroki Kitano, Koujin Takeda
    • Journal Title

      J. Phys. Soc. Jpn.

      Volume: 89 Pages: 043801

    • DOI

      10.7566/JPSJ.89.043801

    • Peer Reviewed
  • [Journal Article] Improved algorithm for neuronal ensemble inference by Monte Carlo method2020

    • Author(s)
      Shun Kimura, Koujin Takeda
    • Journal Title

      Proceedings of NetSci-X 2020

      Volume: なし Pages: 77-90

    • DOI

      10.1007/978-3-030-38965-9_6

    • Peer Reviewed
  • [Journal Article] 行列分解ダイナミクスの適用限界2019

    • Author(s)
      玉井智貴,竹田晃人
    • Journal Title

      情報理論とその応用シンポジウム(SITA2019)予稿集

      Volume: なし Pages: 156-161

  • [Journal Article] モンテカルロ法を用いた神経集団推定法の改良と実データへの適用2019

    • Author(s)
      木村俊,竹田晃人,太田桂輔
    • Journal Title

      電子情報通信学会技術研究報告

      Volume: 119 Pages: NC2019-101

  • [Presentation] モンテカルロ法を用いた神経集団推定法の改良と実データへの適用2020

    • Author(s)
      木村俊,竹田晃人,太田桂輔
    • Organizer
      ニューロコンピューティング(NC)研究会
  • [Presentation] 行列分解アルゴリズムが局所解に収束する場合のダイナミクス解析2020

    • Author(s)
      玉井智貴,竹田晃人
    • Organizer
      日本物理学会年次大会
  • [Presentation] モンテカルロ法を用いた神経集団推定法の改良2020

    • Author(s)
      木村俊,竹田晃人,太田桂輔
    • Organizer
      日本物理学会年次大会
  • [Presentation] 生成モデルを用いた神経集団推定法の改良と実データへの適用2020

    • Author(s)
      太田桂輔,木村俊,竹田晃人
    • Organizer
      日本物理学会年次大会
  • [Presentation] Improved algorithm for neuronal ensemble inference by Monte Carlo method2020

    • Author(s)
      Shun Kimura, Koujin Takeda
    • Organizer
      NetSci-X 2020
    • Int'l Joint Research
  • [Presentation] DNNを用いた画像分類におけるloss landscapeの考察2019

    • Author(s)
      今川和樹,竹田晃人
    • Organizer
      日本物理学会秋季大会
  • [Presentation] 確率伝搬法を用いた複数文書要約2019

    • Author(s)
      喜多野広貴,竹田晃人
    • Organizer
      日本物理学会秋季大会
  • [Presentation] 事後共分散項を考慮した行列分解アルゴリズムの解析2019

    • Author(s)
      玉井智貴,竹田晃人
    • Organizer
      日本物理学会秋季大会
  • [Presentation] 確率伝搬法を用いたベイズ的Minority Gameの解析2019

    • Author(s)
      大澤佑樹,竹田晃人
    • Organizer
      日本物理学会秋季大会
  • [Presentation] DeepClusterに基づく半教師あり学習の考察2019

    • Author(s)
      藤岡義治,竹田晃人
    • Organizer
      日本物理学会秋季大会
  • [Presentation] 行列分解問題への信号雑音分離法の適用評価2019

    • Author(s)
      玉井智貴,竹田晃人
    • Organizer
      情報論的学習理論ワークショップ(IBIS2019)
  • [Presentation] DeepClusterによる半教師あり学習のクラスタリング性能による精度評価2019

    • Author(s)
      藤岡義治,竹田晃人
    • Organizer
      情報論的学習理論ワークショップ(IBIS2019)
  • [Presentation] 生成モデルを用いた神経集団のベイズ推定法の改良2019

    • Author(s)
      木村俊,竹田晃人
    • Organizer
      情報論的学習理論ワークショップ(IBIS2019)
  • [Presentation] 行列分解ダイナミクスの適用限界2019

    • Author(s)
      玉井智貴,竹田晃人
    • Organizer
      情報理論とその応用シンポジウム(SITA2019)
  • [Book] スパースモデリング2020

    • Author(s)
      Irina Rish, Genady Ya Grabranik著,竹澤邦夫,大関真之,高橋茶子,竹田晃人,徳田悟,藤本晃司,安田宗樹 共訳
    • Total Pages
      232
    • Publisher
      ジャムハウス
    • ISBN
      978-4-906768-73-8
  • [Remarks] 竹田 晃人 (研究代表者) のホームページ

    • URL

      http://takeda.ise.ibaraki.ac.jp/takeda/index.html

URL: 

Published: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi