関連性の尺度としてのKullback-Leibler情報量の有効性の検証

2002 Fiscal Year Annual Research Report

• Project/Area Number: 12480063
• Research Institution: Keio University
• Principal Investigator: 柴田 里程 慶應義塾大学, 理工学部, 教授 (60089828)
• Co-Investigator(Kenkyū-buntansha): 高際 睦 東京歯科大学, 歯学部, 助教授 (30306849) ; 神保 雅一 慶應義塾大学, 理工学部, 教授 (50103049) ; 清水 邦夫 慶應義塾大学, 理工学部, 教授 (60110946) ; 加藤 剛 慶應義塾大学, 理工学部, 専任講師 (40267399)
• Keywords: 情報量 / Kullback-Leibler / 関連性 / モデル選択

Research Abstract

本年度は最終年度として,これまでの研究をまとめるだけでなく,今後の本研究発展の方向性を見いだすことにも重点を置いて研究をすすめた.Kullback-Leibler情報量は平均尤度比でもあり,その意味では関連性を平均的な尤度比で計ることに他ならないが,その有効性を検証する実際例としてまず金融時系列をとりあげ研究を進めた.具体的には確率的ニューラルネットワークモデルの学習アルゴリズムの開発とその収束性の証明を行った.実際このアルゴリズムによって学習させると,すくなくともTOPIXの上昇・下降の予測こ関しては他のどんなモデルやネットワークよりもよい精度の60%前後を確保できることが判明した。このアルゴリズムでは平均尤度が基本的な役割を果たしているが,それを一度に評価することが困難であるため,バックプロパゲーションと同様に層毎の部分尤度の最大化の繰り返しでその最大化を実現している.また,Kullback-Leibler情報量が,さまざまなデータ解析をおこなう際の指針としてどれだけ有効かを確かめるための研究として,衛星搭載レーダの受信波と瞬時観測為替レートの解析とモデル構築もおこなった.衛星搭載レーダに関してはこれまでのパルス圧縮法よりも数十倍の精度をもつ処理方法を発見し,瞬時観測為替レートに関してはクラスターのあるマークつき点過程としてのモデル構築をおこなった.さらに,グラフィカルモデルにおける情報の流れという観点から,条件付き独立性の研究も進めた.その結果,条件付き独立性はかなり強い条件であり,正規分布以外とその単調変換という形以外には実際には実現しにくい条件であることも判明した.

Research Products

• [Publications] Ritei Shibata: "Information Criteria for Statistical Model Selection"Electronics and Communication in Japan. Part3,85. 32-38 (2002)
• [Publications] Shigeo Kamitsuji, Ritei Shibata: "Learning Algorithm for Stochastic Neural Network"Neural Computation. (To appear). (2003)