2000 Fiscal Year Annual Research Report
一般化相対エントロピーの幾何学的情報論的性質の解明と応用
| Project/Area Number |
12750058
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
下川 英敏 東京大学, 大学院・工学系研究科, 助手 (50282687)
|
|---|
| Keywords | 相対エントロピー / レニーエントロピー / 仮説検定 / エラーレート / 双対問題 / 平均場近似 |
|---|
| Research Abstract |
相対エントロピー(カルバックライブラーダイバージェンス)の定義を拡張して得られる,一般化相対エントロピー,あるはα-ダイバージェンスと呼ばれる,2つの確率分布と1次元のパラメータによって定まる,確率分布の空間における擬距離について,統計学や情報理論,情報幾何学の観点から研究を行なった.
複合仮説検定などの統計的な推論においては,相対エントロピーの最小化問題に帰着されることが多いが,この最適化問題の双対問題を考えることによって,一般化相対エントロピーが表われることがわかった.仮説によっては,双対問題を解くほうが容易になり,一般化相対エントロピーの最適化問題に還元されることを示した.
情報理論的な枠組においては,符号化レートの制約下での最適エラーレート関数が,一般化相対エントロピーと同じ形をした1変数関数の最適化問題として与えられることを示し,条件付きエントロピーに対応する一般化条件付きエントロピーを定式化した.
学習理論や統計力学においては,大規模な確率的システムにおける確率変数の期待値を少ない計算量で求める方法として,平均場近似法およびその改良法があるが,一般化相対エントロピーの1次元パラメータについての依存性を計算することによって,平均場近似法が導出されることが示され,その近似法が有効な場合についての考察を行った.
|
Research Products
(1 results)
