A Unified Approach to Coding Problems with Conditional Smooth Renyi Entropies

2022 Fiscal Year Final Research Report

• Project/Area Number: 21K21291
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Multi-year Fund
• Review Section: 1001:Information science, computer engineering, and related fields
• Research Institution: University of Hyogo
• Principal Investigator: Sakai Yuta 兵庫県立大学, 工学研究科, 助教 (70907849)
• Project Period (FY): 2021-08-30 – 2023-03-31
• Keywords: 情報理論 / スムースエントロピー / カットオフエントロピー / 可変長データ圧縮 / Guessing問題 / タスク符号化問題 / 高次漸近論

Outline of Final Research Achievements

In this project, we investigated several engineering problems and fundamental limits of their performances via conditional smooth Renyi entropies. We then derived bounds on such limits of information-theoretic problems, e.g., variable-length data compression, guessing problem, and task-encoding problem, via the entropies; these bounds characterize operational meanings of the entropies. In addition, by transforming the smoothing operation to the cutoff operation via majorization theory, we derived asymptotic expansions of various types of smooth entropies. The derivations of these bounds and asymptotic analyses can be independently done, and thus we established methods to analyze individual coding problems in a unified way.

Free Research Field

情報理論

Academic Significance and Societal Importance of the Research Achievements

本研究課題により、様々な工学問題への解析手法として情報エントロピーによる統一的アプローチを展開した。本研究課題で中心的に扱ったスムースエントロピーは、情報セキュリティの文脈で定義された比較的新しいエントロピーである。エントロピーは情報理論のみならず、統計力学、情報熱力学、量子情報処理、関数解析、組合せ論といった様々な工学・物理・数学分野にて用いられる量的解析手法である。エントロピーの操作的意味づけを行い、様々な工学問題を統一的に理解する試みは、こうした他分野への展開を期待するものであり、応用と理論の両側面において科学技術を発展させる基盤構成となることを望んでいる。