学習データの与え方を改良した勾配法に基づく学習アルゴリズムとそのロバスト性の考察

2013 年度 研究成果報告書

• 研究課題/領域番号: 23500189
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 研究分野: 知能情報学
• 研究機関: 湘南工科大学
• 研究代表者: 二宮 洋 湘南工科大学, 工学部, 教授 (60308335)
• 連携研究者: 小林 学 湘南工科大学, 工学部, 教授 (80308204)
• 研究期間 (年度): 2011 – 2013
• キーワード: ニューラルネットワーク / 学習アルゴリズム / 準ニュートン法 / オンライン学習 / バッチ学習 / 並列アルゴリズム

研究概要

本研究では、以下の2つの研究を進めることにより、非線形性の強い特性を持つ関数、もしくは、システムのニューラルネットワークによる近似を可能にすることが目的である。具体的には、「学習データの与え方を改良した勾配法に基づく新たな学習アルゴリズムの提案」及び、「提案学習アルゴリズムのロバスト性に関する解析」である。ここで、本研究におけるロバスト性とは、初期値に依存することなく最適解を得られる、つまり、大域収束性のことを示す。また、回路の設計や最適化への応用を考慮した、所望するシステムの詳細な近似モデルのニューラルネットワークによる実現を目的とした研究へと発展させる。

研究成果

• [雑誌論文] Reconfigurable Circuit Design based on Arithmetic Logic Unit Using Double-Gate CNTFETs (2014)
  • 著者名/発表者名: Ninomiya, H., Kobayashi, M., Miura, Y . and Watanabe S
  • 雑誌名: IEICE Trans. on Fundamentals 巻: vol.E97-A,no.2 ページ: 675-678
  • 査読あり
• [雑誌論文] Reduced Reconfigurable Logic Circuit Design based on Double Gate CNTFETs using Ambipolar Binary Decision Diagram (2013)
  • 著者名/発表者名: Ninomiya, H., Kobayashi, M. and Watanabe S
  • 雑誌名: IEICE Trans. on Fundamentals 巻: vol.E96-A,no.1 ページ: 356-359
  • 査読あり
• [雑誌論文] A Linear Time ADMM Decoding for LDPC Codes over MIMO Channels (2013)
  • 著者名/発表者名: Kobayashi, M., Ninomiya, H., Matsushima, T ., and Hirasawa, S
  • 雑誌名: Proc. 2013 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing (NCSP'13) ページ: 185-188
  • 査読あり
• [雑誌論文] Dynamic Sample Size Selection based quasi-Newton Training for Highly Nonlinear Function Approximation using Multilayer Neural Networks (2013)
  • 著者名/発表者名: Ninomiya, H
  • 雑誌名: Proc. IEEE&INNS/IJCNN'13 ページ: 1932-1937
  • 査読あり
• [雑誌論文] パラメータ化オンライン準ニュートン法による階層型ニューラルネットワークの学習 (2012)
  • 著者名/発表者名: 二宮 洋
  • 雑誌名: 信学論 A 巻: vol.J95-A,no.8 ページ: 698-703
  • 査読あり
• [雑誌論文] 階層型ニューラルネットワークの学習に対する online/batch ハイブリッド型準ニュー トン法の有効性に関する研究 (2012)
  • 著者名/発表者名: 阿倍俊和, 坂下善彦, 二宮 洋
  • 雑誌名: Journal of Signal Processing 巻: vol.16,no.5 ページ: 451-458
  • 査読あり
• [雑誌論文] An Error Probability Estimation of the Document Classification Using Markov Model (2012)
  • 著者名/発表者名: Kobayashi, M., Ninomiya, H., Matsushima, T ., and Hirasawa, S
  • 雑誌名: Proc. 2012 International Symposium on Information Theory and its Applications (ISITA'12) ページ: 712-716
  • 査読あり
• [雑誌論文] Parameterized Online quasi-Newton Training for High-Nonlinearity Function Approximation using Multilayer Neural Networks (2011)
  • 著者名/発表者名: Ninomiya, H
  • 雑誌名: Proc. IEEE&INNS/IJCNN'11 ページ: 2770-2777
  • 査読あり
• [雑誌論文] Microwave Neural Network Models Using Improved Online quasi-Newton Training Algorithm (2011)
  • 著者名/発表者名: Ninomiya, H
  • 雑誌名: Journal of Signal Processing 巻: vol.15,no.6 ページ: 483-488
  • 査読あり
• [学会発表] 改良型分散準ニュートン法によるニューラルネットワークの学習 (2013)
  • 著者名/発表者名: 佐伯 誠, 坂下善彦, 二宮 洋
  • 学会等名: 電子情報通信学会 基礎・境界ソサイエティ大会
  • 年月日: 20130900
• [学会発表] 動的サンプルサイズ選択法に基づく準ニュートン法による階層型ニューラルネットワークの学習 (2013)
  • 著者名/発表者名: 二宮 洋
  • 学会等名: 電子情報通信学会 信学技報 非線形問題研究会
  • 年月日: 20130700
• [学会発表] Dynamic Sample Size Selection in Improved Online quasi-Newton Method for Robust Training of Feedforward Neural Networks (2013)
  • 著者名/発表者名: Ninomiya, H
  • 学会等名: The Fifth International Conference on Advanced Cognitive T echnologies and Applications (COGNITIVE2013)
  • 年月日: 20130500
• [学会発表] 分散並列環境における準ニュートン学習アルゴリズムの有効性 (2013)
  • 著者名/発表者名: 佐伯 誠, 坂下善彦, 二宮 洋
  • 学会等名: 電子情報通信学会信学技報 非線形問題研究会
  • 年月日: 20130100
• [学会発表] MIMO 通信における相互情報量基準に基づく量子化器の設計法 (2012)
  • 著者名/発表者名: 小林 学, 八木秀樹, 二宮 洋, 平澤茂一
  • 学会等名: 電子情報通信学会 情報理論研究会 信学技報
  • 年月日: 20120900
• [学会発表] Online/Batch ハイブリット型準ニュートン法によるニューラルネットワークの学習アルゴリズム (2012)
  • 著者名/発表者名: 阿部俊和, 坂下善彦 , 二宮洋
  • 学会等名: 情報処理学会第74回全国大会
  • 年月日: 20120300
• [学会発表] online/batch ハイブリッド型準ニュートン法による階層型ニューラルネットワークのロバスト学習に関する研究 (2011)
  • 著者名/発表者名: 阿部俊和, 坂下善彦 , 二宮洋
  • 学会等名: 電子情報通信学会 非線形問題研究会信学技報
  • 年月日: 20111100
• [備考]
  • URL: http://www.info.shonan-it.ac.jp/ninomiya-lab/ninomiya.html