一般化相対エントロピーの幾何学的、情報論的性質の解明と工学的応用

2001 Fiscal Year Annual Research Report

• Project/Area Number: 12750058
• Research Institution: The University of Tokyo
• Principal Investigator: 下川 英敏 東京大学, 大学院・情報理工学系研究科, 助手 (50282687)
• Keywords: 相対エントロピー / レニーエントロピー / 仮説検定 / 多端子システム / エラーレート / 双対問題 / 平均場近似

Research Abstract

相対エントロピー(カルバックライブラーダイバージェンス)の定義を拡張して得られる,一般化相対エントロピー,あるはα-ダイバージェンスと呼ばれる,2つの確率分布と1次元のパラメータによって定まる確率分布の空間における擬距離について.統計学や情報理論,情報幾何学の観点から研究を行なった.
本年度においては,情報理論的な枠組において,多端子システム(Slepian-Wolf system)における情報源圧縮の問題を研究した.多端子システムの信頼性関数のランダム符号化限界が,条件付きエントロピーに対応する一般化相対エントロピーと双対な関係にあることは,代表者の研究によって明らかにされていたが,その信頼性関数の下界はレートが高い部分に関しては,一般に知られている上界と一致しない.本研究では,情報理論的な符号化方法,具体的には,線形符号化とタイプを利用した数え上げ符号を,情報源の出力に応じて,適応的に組み合わせることによって,その下界が改善される可能性を理論的に示した.また,バイナリ通信路に関しては,数値計算によって,今まで知られている下界に比べて,レートが高い領域において,確かに改善されていることを示した.
この新たに導出された下界は,最適化問題の解として与えられるが,この問題の双対問題を考えることによって,一般化エントロピーに似た量が得られる.この量は,多端子システムに固有のエントロピーと考えられるが,多端子システム以外にどのような操作的な意味を持つかを解明すること,また,この下界を達成することができる実用的な符号を構成することが,現在の課題である.

Research Products

• [Publications] 下川 英敏: "多端子システムの高レート領域における信頼性関数"第24回情報理論とその応用シンポジウム予稿集. I. 39-42 (2001)
• [Publications] S.Amari, S.Ikeda, H.Shimokawa: "Information Geometry of α-projection in Mean Field Approximation"Advanced Mean Field Methods : Theory and Practice Man fred Opper and David Saad(eds.) MIT press. 241-257 (2001)