情報空間の位相構造における情報量の諸性質と学習理論への応用に関する研究

1996 Fiscal Year Annual Research Report

• Project/Area Number: 08780230
• Research Institution: Hokkaido University
• Principal Investigator: 塩谷 浩之 北海道大学, 工学部, 助手 (90271642)
• Keywords: 一般化情報量 / 位相 / 統計的学習 / 双対性 / 凸関数の変換

Research Abstract

本研究の目的は,これまで情報理論において用いられてきたエントロピーやダイバージェンスなどの情報量を,確率密度の全体の空間における位相構造に関する諸質を検討すること,さらに,それらと計算論的学習,モデル選択,統計的推定,ニューラルネットワークなどにおける学習や推定の精度など応用の局面で重要とされる必要事例数や収束などの諸性質との対応を明らかにすることであった.
研究実績の概要としては,一般化情報量のクラスであるCsiszarのf-divergenceを,確率密度の全体の空間との性質を考慮しつつ凸関数の変換とも対応させながら,情報量を用いた統計的学習において学習評価を行なうのに用いる学習評価に適応できる情報量評価不等式を導出したことにある.これは先にHermite-Hadamard型の情報量の性質についての研究が行なわれたものを基礎として発展させたものである.そして本研究の一貫として,その情報量の最大値と確率密度の対応に関する必要十分条件を証明しつつ,情報量評価不等式に至ったものである.凸関数の変換と情報量の双対性との関係についても知見が得られた.それは,カルバック情報量については,通常の共役な凸関数から凸関数への変換以外でも双対な情報量(Dualなカルバック情報量)が得られる特殊な変換が存在し,かつその変換は,先の研究(一般化情報量の有界性と位相条件の同等性)において用いられたf-divergenceの値を不変とする凸関数の変換と同等な性質を満たすことも朗かにした.このことは,その変換がf-divergenceという情報量の定義形式に用いる凸関数に施す変換としては妥当であることも意味している.また,これらは,本研究における基礎理論的部分に相当するものであると考えられる.一般化情報量のクラスで特徴的なダイバージェンスであるカルバック情報量に対してもの双対な関係をもたらす凸関数の特殊な変換は,凸関数全体の空間を,有限回の変換によって得られる同値類を導入することで,関数空間を射影化することで,情報量の意味での双対と関数空間の射影幾何的構造と,双対接続(測地線でいうとカルバック情報量と双対なカルバック情報量)に代表される情報幾何学との対応の手がかりともなる.

Research Products

• [Publications] 塩谷浩之,伊達淳: "凸関数の変換とダイバージェンスの関係不等式" 電子情報通信学会 和文誌(A). volJ80-A NO3. 509-515 (1997)
• [Publications] H. Taniguch, T. Murai, H. Shioya and Y. Sato: "Interactive Logical Properties in Multimodal Semantics for Data Analysis Based on Attribute Valve and Time" IEEE International Conference on Systems, Mans and Cybernetics. vol. 4 of 4 96CH35929. 2947-2950 (1996)