Asymptotic Analysis of On-line Learning Based on Generalized Stochastic Processes

• Project/Area Number: 18700157
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Single-year Grants
• Research Field: Intelligent informatics
• Research Institution: Hiroshima City University
• Principal Investigator: IWATA Kazunori Hiroshima City University, 大学院・情報科学研究科, 助教 (20405492)
• Project Period (FY): 2006 – 2008
• Project Status: Completed (Fiscal Year 2008)
• Budget Amount: ¥3,600,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥300,000); Fiscal Year 2008: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2007: ¥1,000,000 (Direct Cost: ¥1,000,000); Fiscal Year 2006: ¥1,300,000 (Direct Cost: ¥1,300,000)
• Keywords: 確率的決定過程 / 強化学習 / マルチエージェントシステム / 階層クラスタ分析 / マルコフ決定過程 / 漸近等分割性 / 非類似度 / 混合モデル / ガラス成分データ / 音素データ / 曲線整合 / 形状解析 / オンライン学習 / 学習理論 / 混合分布 / クラスタリング

Research Abstract

強化学習における経験系列(状態,行動,報酬の時系列)やクラスタ分析に使われるデータは,一般に非定常・非エルゴードな確率過程に従う.本研究では,そのような一般的な系列・データに対しても有効な漸近的性質を使って,(1)マルチエージェントシステムの強化学習における漸近的性質,(2)強化学習によって収益の最大化が可能な確率的決定過程のクラス,(3)階層クラスタ分析におけるクラスタ間の新しい非類似度についての研究を行った.

Research Products

• [Journal Article] 確率密度推定に基づくRDSP法を用いた音素データの階層クラスタ分析 (2008)
  • Author(s): 斧城悠大, 岩田一貴, 末松伸朗, 林朗
  • Journal Title: 電子情報通信学会論文誌 v.J91-D Pages: 2196-2200
  • NAID: 110007385988
  • Peer Reviewed
• [Journal Article] A Redundancy-Based Measure of Dissimilarity among Probability Distributions for Hierarchical Clustering Criteria (2008)
  • Author(s): Kazunori Iwata and Akira Hayashi
  • Journal Title: IEEE Transactions on Pattern Analysis and Machine Intelligence v.30 Pages: 76-88
  • NAID: 120005402653
  • Peer Reviewed
• [Journal Article] 確率密度推定に基づくRDSP法を用いた音素データの階層クラスタ分析 (2008)
  • Author(s): 斧城悠大, 岩田一貴, 末松伸朗, 林朗
  • Journal Title: 電子情報通信学会論文誌 J91-D Pages: 2196-2200
  • NAID: 110007385988
  • Peer Reviewed
• [Journal Article] A Redundancy-Based Measure of Dissimilarity among Probability Distributions for Hierarchical Clustering Criteria (2008)
  • Author(s): Kazunori Iwata and Akira Hayashi
  • Journal Title: IEEE Transactions on Pattern Analysis and Machine Intelligence 30 Pages: 76-88
  • NAID: 120005402653
  • Peer Reviewed
• [Journal Article] スケールの影響に対して頑健な曲線の最適整合, (2007)
  • Author(s): 大内悠, 岩田一貴, 林朗
  • Journal Title: 情報科学技術レターズ v.6 Pages: 209-210
  • Peer Reviewed
• [Journal Article] スケールの影響に対して頑健な曲線の最適整合 (2007)
  • Author(s): 大内 悠, 岩田-貴, 林 朗
  • Journal Title: 情報科学技術レターズ 6 Pages: 209-210
  • Peer Reviewed
• [Journal Article] Identifying the Underlying Hierarchical Structvire of Clusters in Cluster Analysis (2007)
  • Author(s): Kazunori Iwata and Akira Hayashi
  • Journal Title: Lecture Notes in Computer Science 4669 Pages: 311-320
  • Peer Reviewed
• [Journal Article] A Redundancy-Based Measure of Dissimilarity among Probability Distributions for Hierarchical Clustering Criteria (2007)
  • Author(s): Kazunori Iwata, Akira Hayashi
  • Journal Title: IEEE Transactions on Pattern Analysis and Machine Intelligence (印刷中)
  • NAID: 120005402653
• [Journal Article] Kazushi Ikeda and Hideaki Sakai, A Statistical Property of Multiagent Learning Based on Markov Decision Process (2006)
  • Author(s): Kazunori Iwata
  • Journal Title: IEEE Transactions on Neural Networks v.17 Pages: 829-842
  • Peer Reviewed
• [Journal Article] A Statistical Property of Multiagent Learning Based on Markov Decision Process (2006)
  • Author(s): Kazunori Iwata, Kazushi Ikeda, Hideaki Sakai
  • Journal Title: IEEE Transactions on Neural Networks 17・4 Pages: 829-842
  • NAID: 120005402430
• [Journal Article] Theory of a Probabilistic-Dependence Measure of Dissimilarity among Multiple Clusters (2006)
  • Author(s): Kazunori Iwata, Akira Hayashi
  • Journal Title: Lecture Notes in Computer Science 4132 Pages: 311-320
• [Presentation] On a Class of Stochastic Decision Processes with an Asymptotic Property (2009)
  • Author(s): Kazunori Iwata
  • Organizer: 電子情報通信学会2009年総合大会
  • Place of Presentation: 愛媛大学
  • Year and Date: 2009-03-18
• [Presentation] 曲線像から相似な部分を抽出するための高速なアルゴリズム情報・システムソサイエティ特別企画学生ポスターセッション (2009)
  • Author(s): 上青木勝利, 岩田一貴, 末松伸朗, 林朗,
  • Organizer: 電子情報通信学会2009年総合大会
  • Place of Presentation: 愛媛大学
  • Year and Date: 2009-03-17
• [Presentation] Polya Tree階層モデルの実験的研究 (2009)
  • Author(s): 岡田行史, 末松伸朗, 林朗, 岩田一貴
  • Organizer: 電子情報通信学会2009年総合大会
  • Place of Presentation: 愛媛大学
  • Year and Date: 2009-03-17
• [Presentation] 時系列データの低次元ユークリッド空間への埋め込み (2009)
  • Author(s): 金子悟士, 林朗, 岩田一貴, 末松伸朗
  • Organizer: 電子情報通信学会2009年総合大会
  • Place of Presentation: 愛媛大学
  • Year and Date: 2009-03-17
• [Presentation] 変分ベイズ法の環境音認識への応用 (2009)
  • Author(s): 藤田睦未, 林朗, 岩田一貴, 末松伸朗
  • Organizer: 電子情報通信学会2009年総合大会
  • Place of Presentation: 愛媛大学
  • Year and Date: 2009-03-17
• [Presentation] 変分ベイズ法の環境音認識への応用 (2009)
  • Author(s): 藤田睦未, 林朗, 岩田一貴, 末松伸朗
  • Organizer: 電子情報通信学会2009年総合大会情報・システムソサイエティ特別企画学生ポスターセッション
  • Place of Presentation: 愛媛大学
  • Year and Date: 2009-03-17
• [Presentation] 時系列データの低次元ユークリッド空間への埋め込み (2009)
  • Author(s): 金子悟士, 林朗, 岩田一貴, 末松伸朗
  • Organizer: 電子情報通信学会2009年総合大会情報・システムソサイエティ特別企画学生ポスターセッション
  • Place of Presentation: 愛媛大学
  • Year and Date: 2009-03-17
• [Presentation] Poiya Tree階層モデルの実験的研究 (2009)
  • Author(s): 岡田行史, 末松伸朗, 林朗, 岩田一貴
  • Organizer: 電子情報通信学会2009年総合大会情報・システムソサイエティ特別企画学生ポスターセッション
  • Place of Presentation: 愛媛大学
  • Year and Date: 2009-03-17
• [Presentation] 曲線像から相似な部分を抽出するための高速なアルゴリズム (2009)
  • Author(s): 上青木勝利, 岩田一貴, 末松伸朗, 林朗
  • Organizer: 電子情報通信学会2009年総合大会情報・システムソサイエティ特別企画学生ポスターセッション
  • Place of Presentation: 愛媛大学
  • Year and Date: 2009-03-17
• [Presentation] An Action-Selection Strategy Insensitive to Parameter-Settings in Reinforcement Learning, (2009)
  • Author(s): K enji Ono, Kazunori Iwata and Akira Hayashi,
  • Organizer: The ICROS-SICE International Joint Conference 2009
  • Place of Presentation: Fukuoka, Japan
• [Presentation] Sampling Curve Images to Find Similarities among Parts of Images (2008)
  • Author(s): Kazunori Iwata and Akira Hayashi,
  • Organizer: The 15th International Conference on Neural Information Processing
  • Place of Presentation: Auckland, New Zealand
  • Year and Date: 2008-12-27
• [Presentation] An Information-Theoretic Class of Stochastic Decision Processes (2008)
  • Author(s): Kazunori Iwata
  • Organizer: The 2008 IEEE/WIC/ACM
  • Place of Presentation: Sydney, Australia
  • Year and Date: 2008-12-11
• [Presentation] An Information-Theoretic Class of Stochastic Decision Processes (2008)
  • Author(s): Kazunori Iwata
  • Organizer: The 2008 IEEE/WIC/ACM International Conference on Intelligent Agent Technology
  • Place of Presentation: Sydney, Australia
  • Year and Date: 2008-12-11
• [Presentation] Sampling Curve Images to Find Similarities among Parts of Images (2008)
  • Author(s): Kazunori Iwata and Akira Hayashi
  • Organizer: The 15th International Conference on Neural Info rmation Processing
  • Place of Presentation: Auckland, New Zealand
  • Year and Date: 2008-11-27
• [Presentation] 曲線整合において相似な部分を見つけるためのサンプリング方法 (2008)
  • Author(s): 岩田一貴, 林朗
  • Organizer: 第11回情報論的学習理論ワークショップ
  • Place of Presentation: 仙台国際センター
  • Year and Date: 2008-10-30
• [Presentation] 強化学習におけるソフトマックス戦略のパラメータの新しい調整法 (2008)
  • Author(s): 小野兼嗣, 岩田一貴, 林朗
  • Organizer: 第11回情報論的学習理論ワークショップ
  • Place of Presentation: 仙台国際センター
  • Year and Date: 2008-10-30
• [Presentation] 強化学習におけるパラメータ設定に頑健な行動選択戦略 (2008)
  • Author(s): 小野兼嗣, 岩田一貴, 林朗
  • Organizer: 第7回情報科学技術フォーラム
  • Place of Presentation: 慶應義塾大学湘南藤沢キャンパス.
  • Year and Date: 2008-09-03
• [Presentation] 混合ディリクレ過程モデルを利用したARMAモデルベース時系列クラスタリング (2008)
  • Author(s): 鷲頭祐樹, 末松伸朗, 林朗, 岩田一貴
  • Organizer: 第7回情報科学技術フォーラム
  • Place of Presentation: 慶應義塾大学湘南藤沢キャンパス.
  • Year and Date: 2008-09-03
• [Presentation] 混合ディリクレ過程モデルを利用したARMAモデルベース時系列クラスタリング (2008)
  • Author(s): 鷲頭祐樹, 末松伸朗, 林朗, 岩田一貴
  • Organizer: 第7回情報科学技術フォーラム
  • Place of Presentation: 慶應義塾大学湘南藤沢キャンパス
  • Year and Date: 2008-09-03
• [Presentation] 強化学習におけるパラメータ設定に頑健な行動選択戦略 (2008)
  • Author(s): 小野兼嗣, 岩田一貴, 林朗
  • Organizer: 第7回情報科学技術フォーラム
  • Place of Presentation: 慶應義塾大学湘南藤沢キャンパス
  • Year and Date: 2008-09-03
• [Presentation] RDSP法を使った音素データの階層クラスタ分析 (2008)
  • Author(s): 斧城悠大, 岩田一貴, 末松伸朗, 林朗
  • Organizer: 電子情報通信学会NC研究会
  • Place of Presentation: 玉川大学
  • Year and Date: 2008-03-14
• [Presentation] Information Geometry and Information Theory in Machine Learning (2007)
  • Author(s): Kazushi Ikeda and Kazunori Iwata
  • Organizer: he 14th International Conference on Neural Information Processing
  • Place of Presentation: Kitakyushu, Japan
  • Year and Date: 2007-11-15
• [Presentation] Information Geometry and Information Theory in Machine Learning (2007)
  • Author(s): Kazushi Ikeda and Kazunori Iwata
  • Organizer: the 14th International Conference on Neural Information Processing
  • Place of Presentation: Kitakyushu,Japan
  • Year and Date: 2007-11-15
• [Presentation] Identifying the Underlying Hierarchical Structure of Clusters in Cluster Analysis (2007)
  • Author(s): Kazunori Iwata and Akira Hayashi
  • Organizer: The 17th International Conference on Artificial Neural Networks
  • Place of Presentation: Porto, Portugal
  • Year and Date: 2007-09-10
• [Presentation] スケールの影響に対して頑健な曲線の最適整合 (2007)
  • Author(s): 大内悠, 岩田一貴, 林朗
  • Organizer: 第6回情報科学技術フォーラム
  • Place of Presentation: 中京大学
  • Year and Date: 2007-09-05
• [Presentation] 確率密度推定を用いたRDSP法によるクラスタの階層構造の調査 (2007)
  • Author(s): 斧城悠大, 岩田一貴, 末松伸朗, 林朗
  • Organizer: 第6回情報科学技術フォーラム
  • Place of Presentation: 中京大学
  • Year and Date: 2007-09-05
• [Presentation] 半正定値計画法による時系列データの埋め込み (2007)
  • Author(s): 成田浩之, 林朗, 末松伸朗, 岩田一貴
  • Organizer: 第6回情報科学技術フォーラム
  • Place of Presentation: 中京大学
  • Year and Date: 2007-09-05
• [Presentation] 階層隠れCRFの提案 (2007)
  • Author(s): 杉浦玄朗, 林朗, 後藤直人, 末松伸朗, 岩田一貴
  • Organizer: 第6回情報科学技術フォーラム
  • Place of Presentation: 中京大学
  • Year and Date: 2007-09-05
• [Presentation] Cluster Analysis for Identifying the Hierarchical Structure of Subpopulations in Mixture Models (2007)
  • Author(s): 岩田一貴, 林朗
  • Organizer: 電子情報通信学会PRMU研究会
  • Place of Presentation: 名古屋大学
  • Year and Date: 2007-09-04
• [Presentation] 強化学習における大偏差理論の応用 (2006)
  • Author(s): 岩田一貴
  • Organizer: 計測自動制御学会中部支部講演会「学習理論と制御」
  • Place of Presentation: 名古屋大学,招待講演
  • Year and Date: 2006-12-26
• [Presentation] 強化学習における漸近的性質と確率的な行動選択戦略との関係 (2006)
  • Author(s): 岩田一貴, 池田和司, 酒井英昭
  • Organizer: 第49回自動制御連合講演会
  • Place of Presentation: 神戸大学
  • Year and Date: 2006-11-26
• [Presentation] A Dissimilarity Measure Based on the Same Principle as Ward's Measure in Hierarchical Clustering Evaluation (2006)
  • Author(s): Kazunori Iwata and Akira Hayashi
  • Organizer: 第9回情報論的学習理論ワークショップ
  • Place of Presentation: 大阪大学中之島センター
  • Year and Date: 2006-11-01
• [Presentation] Theory of a Probabilistic-Dependence Measure of Dissimilarity among Multiple Clusters (2006)
  • Author(s): Kazunori Iwata and Akira Hayashi
  • Organizer: The 16th International Conference on Artificial Neural Networks
  • Place of Presentation: Athens, Greece.
  • Year and Date: 2006-09-12
• [Presentation] マルコフ決定過程に基づくマルチエージェントシステムの漸近的性質 (2006)
  • Author(s): 岩田一貴, 池田和司, 酒井英昭
  • Organizer: 第5回情報科学技術フォーラム
  • Place of Presentation: 福岡大学
  • Year and Date: 2006-09-07
• [Presentation] 階層的クラスタリングにおけるWard法と情報理論的な非類似度との関係 (2006)
  • Author(s): 斧城悠大, 岩田一貴, 林朗
  • Organizer: 第5回情報科学技術フォーラム
  • Place of Presentation: 福岡大学
  • Year and Date: 2006-09-05
• [Remarks]
  • URL: http://www.prl.info.hiroshima-cu.ac.jp/~kiwata/
• [Remarks]
  • URL: http://www.robotics.im.hiroshima-cu.ac.iprkiwata/
• [Remarks]
  • URL: http://www.robotics.im.hiroshima-cu.ac.jp/~kiwata/