意思決定過程における時間差分制御の研究とその応用

• 研究課題/領域番号: 19740060
• 研究種目: 若手研究(B)
• 配分区分: 補助金
• 研究分野: 数学一般(含確率論・統計数学)
• 研究機関: 神奈川大学 (2008-2009); 弓削商船高等専門学校 (2007)
• 研究代表者: 堀口 正之 神奈川大学, 工学部, 准教授 (90366401)
• 研究期間 (年度): 2007 – 2009
• 研究課題ステータス: 完了 (2009年度)
• 配分額: 2,760千円 (直接経費: 2,400千円、間接経費: 360千円); 2009年度: 780千円 (直接経費: 600千円、間接経費: 180千円); 2008年度: 780千円 (直接経費: 600千円、間接経費: 180千円); 2007年度: 1,200千円 (直接経費: 1,200千円)
• キーワード: マルコフ決定過程 / 計画数学 / 適応政策 / 学習理論 / マルコフ集合連鎖 / 区間ベイズ推定法 / 確信区間

研究概要

本研究は、不確実な環境下での意思決定過程において従来研究されてきた動的計画法による理論的な最適性について、意思決定者の状態観測と行動決定の学習に基づく評価関数の推定による実用上の計算困難性の克服を目的としている。未知の推移法則をもつ数理モデルにおける学習アルゴリズムの理論構築とその応用研究を、ニューロダイナミックプログラミングによる時間差分法と区間ベイズ推定法によるモデル推定から最適解の探索手法を明らかにし、シミュレーションによる理論の数値実験、学習アルゴリズムの改良に取り組んだ。

研究成果

• [雑誌論文] 不確実性の下でのマルコフ決定過程に対する区間ベイズ手法 (2009)
  • 著者名/発表者名: 伊喜哲一郎、堀口正之、安田正實、蔵野正美
  • 雑誌名: 京都大学数理解析研究所講究録 1636 ページ: 1-8
• [雑誌論文] ダイナミックプログラミングを用いたファジィメトリッククラスタリング(Fuzzy Metric Clustering Based on Dynamic Programming) (2009)
  • 著者名/発表者名: 岩村覚三、堀口正之、堀池真琴
  • 雑誌名: 京都大学数理解析研究所講究録 1630 ページ: 77-88
• [雑誌論文] ダイナミックプログラミングを用いたファジィメトリッククラスタリング (Fuzzy Metric Clustering Based on Dynamic Programming) (2009)
  • 著者名/発表者名: 岩村覚三、堀口正之、堀池真琴
  • 雑誌名: 京都大学数理解析研究所講究録1630「非加法性の数理と情報 : 非加法性と凸解析」 1630 ページ: 77-88
• [雑誌論文] A pattern-matrix learning algorithm for adaptive MDPs: The regularly communicating case (2008)
  • 著者名/発表者名: 伊喜哲一郎、堀口正之、蔵野正美、安田正實
  • 雑誌名: 京都大学数理解析研究所講究録 1589 ページ: 110-119
• [雑誌論文] 区間ベイズ推定による適応型品質管理 (2008)
  • 著者名/発表者名: 佐々木稔、堀口正之、蔵野正美
  • 雑誌名: 京都大学数理解析研究所講究録 1589 ページ: 120-129
• [雑誌論文] マルコフ決定過程における適応型アルゴリズム(Adaptive Algorithms for Markov Decision Processes) (2008)
  • 著者名/発表者名: 堀口正之
  • 雑誌名: 神奈川大学工学研究所所報 ページ: 22-29
• [雑誌論文] A pattern-matrix learning algorithm for adaptive MDPs : The regularly communicating case (2008)
  • 著者名/発表者名: 伊喜哲一郎、堀口正之、蔵野正美、安田正實
  • 雑誌名: 京都大学数理解析研究所講究録1589「不確実な状況における意思決定の理論と応用」 1589 ページ: 110-119
• [雑誌論文] 区間ベイズ推定による適応型品質管理 (2008)
  • 著者名/発表者名: 佐々木稔、堀口正之、蔵野正美
  • 雑誌名: 京都大学数理解析研究所講究録1589「不確実な状況における意思決定の理論と応用」 1589 ページ: 120-129
• [雑誌論文] マルコフ決定過程における適応型アルゴリズム (Adaptive Algohthms for Markov Decision Processes) (2008)
  • 著者名/発表者名: 堀口正之
  • 雑誌名: 神奈川大学工学研究所所報 31 ページ: 22-29
• [雑誌論文] A structured pattern matrix algorithm for multichain Markov decision processes (2007)
  • 著者名/発表者名: T. Iki, M. Horiguchi, M. Kurano
  • 雑誌名: Mathematical Methods of Operations Research 66 ページ: 545-555
  • 査読あり
• [雑誌論文] A learning algorithm for communicating Markov decision processes with unknown transition matrices (2007)
  • 著者名/発表者名: T. Iki, M. Horiguchi, M. Yasuda, M. Kurano
  • 雑誌名: Bulletin of Information and Cybernetics 39 ページ: 11-24
  • NAID: 120001944229
  • 査読あり
• [雑誌論文] Temporal Difference-Based Adaptive Policies in Neuro Dynamic Programming (2007)
  • 著者名/発表者名: T. Iki, M. Horiguchi, M. Yasuda, M. Kurano
  • 雑誌名: 4th International conference on Proceedings of Modeling Decisions for Artificial Intelligence (MDAI)(Vicenc Torra, Yasuo Narukawa, Yuji Yoshida (Eds. )) (CD-ROM Proceedings) ページ: 112-122
  • 査読あり
• [雑誌論文] マルコフ決定過程におけるTD法による学習アルゴリズムについて(A learning algorithm of TD method for Markov decision processes) (2007)
  • 著者名/発表者名: 堀口正之、蔵野正美、安田正實
  • 雑誌名: 京都大学数理解析研究所講究録 1559 ページ: 34-49
• [雑誌論文] "A structured pattern matrix algorithm for multichain Markov decision processes" (2007)
  • 著者名/発表者名: T. Iki, M. Horiguchi, M. Kurano.
  • 雑誌名: Mathematical Methods of Operations Research 66 ページ: 545-555
  • 査読あり
• [雑誌論文] "A Iearning algorithm for communicating Markov decision processes with unknown transition matrices" (2007)
  • 著者名/発表者名: T. Iki, M. Horiguchi, M. Yasuda, M. Kurano
  • 雑誌名: Bulletin of Information and Cybernetics 39 ページ: 11-24
  • 査読あり
• [雑誌論文] Temporal Difference-Based Adaptive Policies in Neuro Dyriamic Programming. (2007)
  • 著者名/発表者名: T. Iki, M. Horiguchi, M. Yasuda, M. Kurano
  • 雑誌名: In: 4th International conference on Proceedings of Modeling Decisions for Artificial Intelligence(MDAI)2007(CD-ROM Proceedings), Vicenc Torra, Yasuo Narukawa, Yuji Yoshida (Eds.), (CD-ROM)ISBN978-84-00-08359-1 ページ: 112-122
  • 査読あり
• [雑誌論文] "マルコフ決定過程におけるTD法による学習アルゴリズムについて(A learning algorithm of TD method for Markov decision processes)" (2007)
  • 著者名/発表者名: 堀口正之、蔵野正美、安田正實
  • 雑誌名: 京都大学数理解析研究所講究録1559「最適化問題における確率モデルの展開と応用」 1559 ページ: 34-49
• [学会発表] Uncertain Markov decision processes and Bayesian intervals (2010)
  • 著者名/発表者名: 堀口正之
  • 学会等名: 日本数学会2010年度年会統計数学分科会
  • 発表場所: 慶應義塾大学
  • 年月日: 2010-03-26
• [学会発表] Uncertain Markov decision processes and Bayesian intervals (2010)
  • 著者名/発表者名: 堀口正之
  • 学会等名: 日本数学会
  • 発表場所: 慶應義塾大学矢上キャンパス
  • 年月日: 2010-03-26
• [学会発表] On bounds for Bayes estimate intervals in uncertain MDPs (2009)
  • 著者名/発表者名: 堀口正之
  • 学会等名: 日本数学会2009年度秋季総合分科会
  • 発表場所: 大阪大学
  • 年月日: 2009-09-27
• [学会発表] On bounds for Bayes estimate intervals in uncertain MDPs (2009)
  • 著者名/発表者名: 堀口正之、安田正實
  • 学会等名: 日本数学会
  • 発表場所: 大阪大学豊中キャンパス
  • 年月日: 2009-09-27
• [学会発表] Bayesian approach to uncertain MDPs with intervals of prior measures (2009)
  • 著者名/発表者名: 堀口正之
  • 学会等名: 日本数学会2009年度年会統計数学分科会
  • 発表場所: 東京大学
  • 年月日: 2009-03-27
• [学会発表] Adaptive algorithm for MDPs using pattern matrix learning method (2008)
  • 著者名/発表者名: 堀口正之
  • 学会等名: 日本数学会2008年度秋季総合分科会統計数学分科会
  • 発表場所: 東京工業大学
  • 年月日: 2008-09-27
• [学会発表] 未知の推移法則を持つマルコフ決定過程における学習アルゴリズムについて (2007)
  • 著者名/発表者名: 堀口正之
  • 学会等名: 日本数学会第117回九州支部例会
  • 発表場所: 宮崎大学
  • 年月日: 2007-10-13
• [学会発表] "未知の推移法則を持つマルコフ決定過程における学習アルゴリズムについて" (2007)
  • 著者名/発表者名: 発表者:堀口正之、共同研究者:伊喜哲一郎
  • 学会等名: 日本数学会第117回九州支部例会
  • 発表場所: 宮崎大学
  • 年月日: 2007-10-13
• [学会発表] Adaptive Markov decision processes based on temporal difference method (2007)
  • 著者名/発表者名: 堀口正之
  • 学会等名: 日本数学会2007年度秋季総合分科会統計数学分科会
  • 発表場所: 東北大学
  • 年月日: 2007-09-24
• [学会発表] "Adaptive Markov decision processes based on temporal difference method" (2007)
  • 著者名/発表者名: 発表者:堀口正之、共同研究者:伊喜哲一郎、蔵野正美、安田正實
  • 学会等名: 日本数学会2007年度秋季総合分科会統計数学分科会
  • 発表場所: 東北大学
  • 年月日: 2007-09-24
• [備考]
  • URL: http://www.math.kanagawa-u.ac.jp/~horiguchi