時間的・空間的に特徴を持つオンライン学習の統計力学的解析

2008 年度 研究成果報告書

• 研究課題/領域番号: 18500183
• 研究種目: 基盤研究(C)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 感性情報学・ソフトコンピューティング
• 研究機関: 関西大学 (2008); 神戸市立工業高等専門学校 (2006-2007)
• 研究代表者: 三好 誠司 関西大学, システム理工学部, 准教授 (10270307)
• 研究期間 (年度): 2006 – 2008
• キーワード: 機械学習 / 統計的学習理論 / オンライン学習 / 汎化誤差 / 統計力学 / アンサンブル学習

研究概要

教師機械が時間的に動くモデル、生徒機械を時間方向に組み合わせる集団学習のモデル、教師機械が複数存在するモデルなど、時間的あるいは空間的な観点で興味深く、また統計的学習の基礎理論と応用の両面への波及効果が大きいと思われるいくつかのモデルについて、学習機械の汎化能力をオンライン学習の枠組みで統計力学的手法を用いて理論的に解析した。その結果、多くの興味深い結果が明らかになった。

研究成果

• [雑誌論文] Analysis of Ising spin neural network with time-dependent Mexican-hat-type interaction (2009)
  • 著者名/発表者名: Hara, K., Miyoshi, S., Uezu, T., and Okada, M.
  • 雑誌名: Lecture note in Computer Science(Springer) (in press)
  • 査読あり
• [雑誌論文] Statistical mechanical analysis of simultaneous perturbation learning, IEICE transactions on Fundamentals of Electronics (2009)
  • 著者名/発表者名: Miyoshi, S., Hikawa, H., and Maeda, Y.
  • 雑誌名: Communications and Computer Sciences Vol.E92-A, No.7(in press)
  • 査読あり
• [雑誌論文] Effect of slow switching of ensemble teachers in on-line learning (2009)
  • 著者名/発表者名: Miyoshi, S. and Okada, M.
  • 雑誌名: Journal of the Physical Society of Japan Vol.78, No.5(in press)
  • 査読あり
• [雑誌論文] A theoretical analysis of on-line learning using correlated examples (2008)
  • 著者名/発表者名: Seki, C., Sakurai, S., Matsuno, M. and Miyoshi, S.
  • 雑誌名: IEICE transactions on Fundamentals of Electronics, Communications and Computer Sciences Vol.E91-A, No.9 ページ: 2663-2670
  • 査読あり
• [雑誌論文] Theory of time domain ensemble on-line learning of perceptron under the existence of external noise (2007)
  • 著者名/発表者名: Uezu, T., Miyoshi, S., Izuo ,M. and Okada, M.
  • 雑誌名: Journal of the Physical Society of Japan Vol.76, No.11 ページ: 114006 (8 pages)
  • 査読あり
• [雑誌論文] Statistical mechanics of nonlinear on-line learning for ensemble teachers (2007)
  • 著者名/発表者名: Utsumi, H., Miyoshi, S. and Okada, M.
  • 雑誌名: Journal of the Physical Society of Japan Vol.76, No.11 ページ: 114001 (6 pages)
  • 査読あり
• [雑誌論文] [解説]オンライン学習の統計力学的解析 (2007)
  • 著者名/発表者名: 三好誠司
  • 雑誌名: システム/制御/情報(システム制御情報学会誌) Vol.51, No.5 ページ: 216-223
  • 査読あり
• [雑誌論文] Statistical mechanics of on-line learning when a moving teacher goes around an unlearnable true teacher (2007)
  • 著者名/発表者名: Urakami, M., Miyoshi, S. and Okada, M.
  • 雑誌名: Journal of the Physical Society of Japan Vol.76, No.4 ページ: 044003 (5 pages)
  • 査読あり
• [雑誌論文] Statistical mechanics of linear and nonlinear time-domain ensemble learning (2006)
  • 著者名/発表者名: Miyoshi, S. and Okada, M.
  • 雑誌名: Journal of the Physical Society of Japan Vol.75, No.12 ページ: 124002 (6 pages)
  • 査読あり
• [雑誌論文] Statistical mechanics of time-domain ensemble learning (2006)
  • 著者名/発表者名: Miyoshi, S., Uezu, T. and Okada, M.
  • 雑誌名: Journal of the Physical Society of Japan Vol.75, No.8 ページ: 084007 (6 pages)
  • 査読あり
• [雑誌論文] Statistical mechanics of online learning for ensemble teachers (2006)
  • 著者名/発表者名: Miyoshi, S. and Okada, M.
  • 雑誌名: ournal of the Physical Society of Japan Vol.75, No.4 ページ: 044002 (6 pages)
  • 査読あり
• [学会発表] Hand sign recognition system based on hybrid network classifier (2009)
  • 著者名/発表者名: Yuuki Taki, Hiroomi Hikawa, Seiji Miyoshi and Yutaka Maeda
  • 学会等名: Proc. 2009 International Conference on Neural Networks (IJCNN2009)
  • 発表場所: Atlanta, USA(accepted)
  • 年月日: 2009-06-16
• [学会発表] On automatic generation of VHDL code for self-organizing maps (2009)
  • 著者名/発表者名: Akira Onoo, Hiroomi Hikawa, Seiji Miyoshi and Yutaka Maeda
  • 学会等名: Proc. 2009 International Conference on Neural Networks (IJCNN2009)
  • 発表場所: Atlanta, USA(accepted)
  • 年月日: 2009-06-15
• [学会発表] On simultaneous perturbation particle swarm optimization (2009)
  • 著者名/発表者名: Yutaka Maeda, Naoto Matsushita, Seiji Miyoshi and Hiroomi Hikawa
  • 学会等名: Proc. 2009 IEEE Congress on Evolutionary Computation (IEEE CEC 2009)
  • URL: (accepted)
  • 発表場所: Trondheim, Norway
  • 年月日: 2009-05-21
• [学会発表] ベイズ統計に基づく画像処理 (2009)
  • 著者名/発表者名: 三好誠司
  • 学会等名: 東京大学大学院 新領域創成科学研究科 第1回学融合ビジュアライゼーションシンポジウム
  • 発表場所: 東京大学柏キャンパス(招待講演)
  • 年月日: 2009-05-15
• [学会発表] Analysis of Ising spin neural network with time-dependent Mexican-hat-type interaction (2008)
  • 著者名/発表者名: Hara, K., Miyoshi, S., Uezu, T., and Okada, M.
  • 学会等名: Proc. 15th International Conference on Neural Information Processing (ICONIP2008)
  • 発表場所: Auckland, New Zealand
  • 年月日: 2008-11-26
• [学会発表] A statistical mechanical analysis of on-line learning : Many teachers or few teachers ? (2006)
  • 著者名/発表者名: Miyoshi, S.
  • 学会等名: 7th Int. Symp. of Global Renaissance by Green Energy Revolution, 21st Century COE Program
  • 発表場所: Nagaoka, Japan(Invited talk)
  • 年月日: 2006-09-29
• [学会発表] Statistical mechanics of online learning for ensemble teachers (2006)
  • 著者名/発表者名: Miyoshi, S. and Okada, M.
  • 学会等名: Proc. Int. Joint Conf. on Neural Networks (IJCNN2006)
  • 発表場所: Vancouver, Canada
  • 年月日: 2006-07-17
• [備考] ホームページ
  • URL: http://www2.ipcku.kansai-u.ac.jp/~miyoshi/