Improvement of Nonnegative Matrix Factorization method using competitive learning

• Project/Area Number: 26330259
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Intelligent informatics
• Research Institution: Hokkaido Information University
• Principal Investigator: Uchiyama Toshio 北海道情報大学, 経営情報学部, 教授 (80708644)
• Project Period (FY): 2014-04-01 – 2017-03-31
• Project Status: Completed (Fiscal Year 2016)
• Budget Amount: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000); Fiscal Year 2016: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2015: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000); Fiscal Year 2014: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
• Keywords: 競合学習 / 情報理論的クラスタリング / 非負値行列因子分解 / トピックモデル / PLSA / 最適化

Outline of Final Research Achievements

This study investigated novel methods to improve the accuracy of nonnegative matrix factorization (NMF) from both theoretical and experimental side. Theoretically, it has shown the equivalence between information-theoretic clustering (ITC) and NMF based on generalized KL divergence. Then, it proposed a novel initialization method for NMF using ITC and experimentally showed the effectiveness of the method compared to conventional methods. It also proposed another algorithm for NMF using competitive learning which selects a subset of vectors as winner and showed the effectiveness.

Research Products

• [Journal Article] 情報理論的クラスタリングを用いた確率的潜在意味解析の性能向上 (2017)
  • Author(s): 内山俊郎
  • Journal Title: 電子情報通信学会論文誌 Volume: J100-D Pages: 419-426
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] Information theoretic document clustering using skew divergence (2016)
  • Author(s): Toshio Uchiyama
  • Journal Title: 北海道情報大学紀要 Volume: 27-2 Pages: 19-25
  • NAID: 40020823470
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Presentation] シラバス中の単語情報に基づくカリキュラムの比較 (2017)
  • Author(s): 継枝由希子, 内山俊郎
  • Organizer: 北海道複雑系工学研究会、複雑系マイクロシンポジウムCSMS
  • Place of Presentation: 公立はこだて未来大学
• [Presentation] TSUKUBAコーパスの様々な分野における有用性の検証 (2017)
  • Author(s): 佐藤志織, 内山俊郎
  • Organizer: 北海道複雑系工学研究会、複雑系マイクロシンポジウムCSMS
  • Place of Presentation: 公立はこだて未来大学
• [Presentation] 重み付き情報理論的クラスタリングを用いた確率的潜在意味解析の性能向上 (2016)
  • Author(s): 内山俊郎
  • Organizer: 電子情報通信学会 PRMU研究会
  • Place of Presentation: NTT武蔵野研究開発センター
  • Year and Date: 2016-06-13
• [Presentation] k-means++法の有効性に関する検討 (2016)
  • Author(s): 大石啓太郎、中島潤、内山俊郎
  • Organizer: 北海道複雑系工学研究会
  • Place of Presentation: 小樽商科大学札幌サテライト
  • Year and Date: 2016-03-05
• [Presentation] 正規化相互情報量を用いたクラスタリング解の分布解析 (2016)
  • Author(s): 内山俊郎
  • Organizer: 情報処理学会北海道シンポジウム
  • Place of Presentation: 釧路公立大学
• [Presentation] 非負値行列因子分解の高精度化とPLSAへの応用 (2015)
  • Author(s): 内山俊郎
  • Organizer: 電子情報通信学会
  • Place of Presentation: 愛媛大学
  • Year and Date: 2015-09-14
• [Presentation] 競合学習を用いた非負値行列因子分解 (2014)
  • Author(s): 内山俊郎
  • Organizer: 電子情報通信学会（機械学習研究会）
  • Place of Presentation: 筑波大学
  • Year and Date: 2014-09-01 – 2014-09-02
• [Book] Advances in Statistical Methodologies and Their Application to Real Problems (2017)
  • Author(s): A. Spanos, H.S. Hoang, A. Hoskuldsson, G. Travaglini, T. Uchiyama, I. Ghosh, G.V. Weinberg, Y. Dominicy, A. Mihoci, S. Schmidt, R. Zaki, M. Agrawal, S. Vidyashankar, S. Balli, R. Ametila, H. Nishijo, M.J. D’Souza, E.A. Brandenburg, D. E. Wentzien, R. C. Bautista, A. P. Nwogbaga, R. G. Miller
  • Publisher: InTech
• [Book] わかりやすいデータ解析入門 (2016)
  • Author(s): 内山俊郎
  • Total Pages: 248
  • Publisher: ムイスリ出版
• [Patent(Industrial Property Rights)] 計算処理装置、計算処理方法、計算処理システム、及びプログラム (2014)
  • Inventor(s): 内山俊郎
  • Industrial Property Rights Holder: 学校法人電子開発学園
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2014-160752
  • Filing Date: 2014-08-06