|
我々の持つ知識や経験則の多くが分布によって表現可能であり、種々の推論に取り込まれている。これらの不確実性を伴う知識は、経験とともに適切に修正される必要があり、事前情報から観測値への適当な速さでの移行がなされるべきである。これをひとつの学習過程とみるとき、「学習」は現在の知識と観測データとのあいだに大きな差異が認められる場合、言い替えれば、経験による学習価値が高い場合ほど急速に進むことが望ましい。しかし一方で、経験が浅い内にそれを過度に信頼することは、推論の不安定さが増す危険を含んでいる。
この「鋭敏さ」と「安定性」という2つの相反する要請を満たすため、事前分布と経験分布との混合分布による学習モデルを提案した。混合比は、観測データに依存し、Kullback-Leibler情報量を用いた両分布の妥当性比較に基づいて決定される。
構成したモデルのデータの蓄積に伴う漸近的なふるまいについて孝察し、経験分布が事前分布よりも妥当といえる確率が指数のorderで増加すること、学習価値が高いほど急速に学習が進むことを示した。さらに、混合比の推定に関して、尤度関数を利用する方法および混合分布の漸近的な性質に基づく方法を提示した。
事前情報と標本情報を、論理的に結合するモデルとしてはBayes推論が良く知られている。我々の不確実性表現は、Bayesのそれに比して、直感的で簡明である。また、推論結果は事前分布の変動に関して頑健であり、事前知識が希少な場合、大雑把な数値を設定してある程度妥当な推論結果が期待できることを数値例を通じて示した。
|
