関連性の尺度としてのKullback-Leibler情報量の有効性の検証

2001 Fiscal Year Annual Research Report

• Project/Area Number: 12480063
• Research Institution: Keio University
• Principal Investigator: 柴田 里程 慶應義塾大学, 理工学部, 教授 (60089828)
• Co-Investigator(Kenkyū-buntansha): 高際 睦 東京歯科大学, 数学教室, 専任講師 (30306849) ; 神保 雅一 慶應義塾大学, 理工学部, 教授 (50103049) ; 清水 邦夫 慶應義塾大学, 理工学部, 教授 (60110946) ; 加藤 剛 慶應義塾大学, 理工学部, 専任講師 (40267399)
• Keywords: 情報量 / Kullback-Leibler / 確率的ニューラネットワーク / グラフィカルモデル / 確率微分方程式

Research Abstract

本年度は,前年度の研究成果を受けて,さまざまな統計モデルがデータの情報をどのように汲上げているかKullback-Leibler情報量にもとづいて評価することを中心に研究した.
1.離散型の確率的ニューラルネットワークに,最大尤度原理を各層にそれぞれ適用した場合のバックワードプロパゲーション・アルゴリズムを開発するとともにその収束性を証明した.さらに,連続型の確率的ニューラルネットワークについても,同様のことがなりたつかどうか検討を始めた.
2.有向グラフィカルモデルの頂点間の情報の流れをKullback-Leibler情報量で評価することにより,これまで特殊な状況でしか,定められなかった,どの頂点とどの頂点を連結するか,さらにはその連結の強さまで含めて定めることができることがわかった.さらにモデル選択の問題まで含めての検討を開始した.
3.確率微分方程式のパラメータ推定における離散サンプリングによる情報損失の評価を行い,サンプリング間隔が短すぎても,長すぎても情報量の損失は大きくなることがわかり,それは,対象とする確率微分方程式の形だけでなく,推定方式にも大きく依存することがわかった.また,汎用な推定方式として,ブートストラップ法にもとづく推定があることを示し,その挙動を評価した.

Research Products

• [Publications] 柴田里程, 上丘茂男: "時系列モデルと学習-金融時系列として-"情報処理. 42. 27-31 (2001)
• [Publications] R.Shibata: "Information Criteria for Statistical Model Selection"Electronics and Communication in Japan. 86. 32-38 (2002)
• [Publications] R.Shibata, H.Sunami: "Effect of Discrete Time Sampling from Stochastic…"Sankhya. (2002)