• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

A Study on Fundamental Limits of Lossy Compression Based on Distortion Ball Aiming for Practical Code Construction

Research Project

Project/Area Number 19K14989
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 21020:Communication and network engineering-related
Research InstitutionGunma University (2021-2022)
Waseda University (2019-2020)

Principal Investigator

Saito Shota  群馬大学, 情報学部, 准教授 (60822145)

Project Period (FY) 2019-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2020: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2019: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Keywords情報理論 / シャノン理論 / データ圧縮 / 有歪み情報源符号化 / 非可逆圧縮 / 歪み球 / 数学的基礎理論 / 歪みを許した情報源符号化
Outline of Research at the Start

本研究では、未だに隔たりのある(i)圧縮率等の理論限界を解明するアプローチと(ii)実用的符号化アルゴリズムを構築するアプローチの溝を埋めるために、「(i)を(ii)に如何に近づけ、実際の符号設計の指針を与える理論アプローチを如何に確立するか」を問う。この問いの解決のために、本研究では歪み球を用いた理論アプローチをさらに発展させることで、実用的符号設計の指針となる理論限界を明らかにすることを目的とする。具体的には、より実用に近い仮定(情報源の統計的性質が未知、圧縮対象のデータの長さが有限等)をおいたもとで、歪み球を用いた明示的な符号の構成により、圧縮率等に関する計算可能な理論限界式を解明する。

Outline of Final Research Achievements

In this research, we treated lossy source coding problem. For this problem, one of the criteria is cumulant generating function of codeword lengths, which can be seen as a generalization of mean codeword lengths and maximum codeword lengths. Under the constraint that the excess distortion probability is less than a given constant and for a finite codeword length, we characterized the minimum cumulant generating function of codeword length by using a quantity based on Renyi entropy.

Academic Significance and Societal Importance of the Research Achievements

画像や音声のデータは、もとのデータと復元後のデータが多少異なっていても問題ない場合が多いため、これらのデータの圧縮には有歪み情報源符号化の研究成果が用いられる。そのため、有歪み情報源符号化の研究の進展により、データの記憶容量や通信コストが減少すれば、限られた資源・エネルギーの節約につながる。本研究では、理論的にはどこまでデータを圧縮できるかというアルゴリズムの設計において目指すべき指針を与えた研究である。また、圧縮対象のデータの長さが有限であるという仮定のもとで結果を導いており、実用的な仮定のもとでの理論成果を導出している。

Report

(5 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (45 results)

All 2023 2022 2021 2020 2019

All Journal Article (6 results) (of which Peer Reviewed: 6 results,  Open Access: 5 results) Presentation (39 results) (of which Int'l Joint Research: 8 results,  Invited: 3 results)

  • [Journal Article] Non-Asymptotic Bounds of Cumulant Generating Function of Codeword Lengths in Variable-Length Lossy Compression2023

    • Author(s)
      Saito Shota and Matsushima Toshiyasu
    • Journal Title

      IEEE Transactions on Information Theory

      Volume: 69 Issue: 4 Pages: 2113-2119

    • DOI

      10.1109/tit.2022.3229358

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Upper Bound on Privacy-Utility Tradeoff Allowing Positive Excess Distortion Probability2022

    • Author(s)
      S. Saito and T. Matsushima
    • Journal Title

      IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences

      Volume: E105.A Issue: 3 Pages: 425-427

    • DOI

      10.1587/transfun.2021TAL0002

    • NAID

      130008165398

    • ISSN
      0916-8508, 1745-1337
    • Year and Date
      2022-03-01
    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Probability Distribution on Full Rooted Trees2022

    • Author(s)
      Nakahara Yuta、Saito Shota、Kamatsuka Akira、Matsushima Toshiyasu
    • Journal Title

      Entropy

      Volume: 24 Issue: 3 Pages: 328-346

    • DOI

      10.3390/e24030328

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Probability Distribution on Full Rooted Trees2022

    • Author(s)
      Y. Nakahara, S. Saito, A. Kamatsuka and T. Matsushima
    • Journal Title

      Y. Nakahara, S. Saito, A. Kamatsuka and T. Matsushima

      Volume: 24 Issue: 6 Pages: 328-346

    • DOI

      10.3390/e23060768

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Cluster's Number Free Bayes Prediction of General Framework on Mixture of Regression Models2021

    • Author(s)
      H. Murayama, S. Saito, Y. Iikubo, Y. Nakahara and T. Matsushima
    • Journal Title

      Journal of Statistical Theory and Applications

      Volume: 20 Issue: 3 Pages: 425-449

    • DOI

      10.1007/s44199-021-00001-5

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] 拡張直交配列を用いた混合水準の実験計画法に関する一考察2020

    • Author(s)
      山口純輝, 風間皐希, 鎌塚明, 齋藤翔太, 松嶋敏泰
    • Journal Title

      電子情報通信学会論文誌 A

      Volume: J103-A Pages: 17-24

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Presentation] セキュリティを考慮した2つの問題に対する情報理論的解析について ~ Local Differential Privacyの下でのパラメータ推定問題と、プライバシーと有用性のトレードオフ問題 ~2023

    • Author(s)
      齋藤翔太
    • Organizer
      電子情報通信学会 情報理論研究会
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] 文脈木情報源に対する逐次型情報源符号化の最大冗長度の下界について2023

    • Author(s)
      齋藤翔太
    • Organizer
      電子情報通信学会 情報理論研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Bayes Optimal Estimation and Its Approximation Algorithm for Difference with and without Treatment under URLC Model2022

    • Author(s)
      Taisuke Ishiwatari, Shota Saito, Yuta Nakahara, Yuji Iikubo, Toshiyasu Matsushima
    • Organizer
      2022 International Symposium on Information Theory and Its Applications
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] On Meta-Bound for Lower Bounds of Bayes Risk2022

    • Author(s)
      Shota Saito
    • Organizer
      2022 IEEE International Symposium on Information Theory
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Probability Distribution on Rooted Trees2022

    • Author(s)
      Yuta Nakahara, Shota Saito, Akira Kamatsuka, Toshiyasu Matsushima
    • Organizer
      2022 IEEE International Symposium on Information Theory
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Lower Bound of Bayes Risk in Parameter Estimation under Local Differential Privacy2022

    • Author(s)
      Shota Saito
    • Organizer
      第45回情報理論とその応用シンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] 決定木モデルにおけるメタツリーに対するマルコフ連鎖モンテカルロ法2022

    • Author(s)
      中原 悠太, 齋藤 翔太, 一條 尚希, 風間 皐希, 松嶋 敏泰
    • Organizer
      第45回情報理論とその応用シンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] ベイズ決定理論に基づく機械学習ライブラリ:BayesML 0.2.02022

    • Author(s)
      中原悠太, 齋藤翔太, 島田航志, 飯窪祐二, 風間皐希, 一條尚希, 松嶋敏泰, BayesML Developers
    • Organizer
      第25回情報論的学習理論ワークショップ
    • Related Report
      2022 Annual Research Report
  • [Presentation] 「情報」を測る:情報理論における情報の捉え方2022

    • Author(s)
      齋藤翔太
    • Organizer
      第10回 早稲田大学データ科学センター・先端社会科学研究所ジョイントセミナー
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] ベイズ決定理論に基づく機械学習ライブラリ:BayesML 0.1.02022

    • Author(s)
      中原 悠太, 一條 尚希, 島田 航志, 飯窪 祐二, 齋藤 翔太, 風間 皐希, 松嶋 敏泰, BayesML Code Authors
    • Organizer
      2022年度統計関連学会連合大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] On Bayesian Approach for Classification of Context Tree Model2022

    • Author(s)
      Shota Saito
    • Organizer
      電子情報通信学会 情報理論研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 潜在的分岐変数を持つ木構造からなる生成モデルと変分ベイズ法による近似推論2022

    • Author(s)
      一條尚希, 中原悠太, 齋藤翔太, 松嶋敏泰
    • Organizer
      電子情報通信学会 情報論的学習理論と機械学習研究会
    • Related Report
      2021 Research-status Report
  • [Presentation] ベイズリスクの下界に対するmeta-bound2022

    • Author(s)
      齋藤翔太
    • Organizer
      電子情報通信学会 情報理論研究会
    • Related Report
      2021 Research-status Report
  • [Presentation] 決定木モデルに対するベイズ最適な予測のメタツリーブースティング法による近似2022

    • Author(s)
      于文斌, 風間皐希, 中原悠太, 一條尚希, 齋藤翔太, 松嶋敏泰
    • Organizer
      電子情報通信学会 情報理論研究会
    • Related Report
      2021 Research-status Report
  • [Presentation] An Efficient Bayes Coding Algorithm for the Non-Stationary Source in Which Context Tree Model Varies from Interval to Interval2021

    • Author(s)
      Koshi Shimada, Shota Saito, Toshiyasu Matsushima
    • Organizer
      2021 IEEE Information Theory Workshop
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Evaluation of Error Probability of Classification Based on the Analysis of the Bayes Code: Extension and Example2021

    • Author(s)
      Shota Saito, Toshiyasu Matsushima
    • Organizer
      2021 IEEE International Symposium on Information Theory
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] A Refined Analysis of Merhav and Ziv's Bayesian Approach for Classification of Markov Sources2021

    • Author(s)
      Shota Saito
    • Organizer
      第44回情報理論とその応用シンポジウム
    • Related Report
      2021 Research-status Report
  • [Presentation] Probability Distribution on Full Rooted Trees2021

    • Author(s)
      Yuta Nakahara, Shota Saito, Akira Kamatsuka, Toshiyasu Matsushima
    • Organizer
      第44回情報理論とその応用シンポジウム
    • Related Report
      2021 Research-status Report
  • [Presentation] URLモデルを仮定した下での新しい個体への施策の有無による反応の差に関するベイズ最適な決定とその近似アルゴリズム2021

    • Author(s)
      山田一翔, 中原悠太, 齋藤翔太, 飯窪祐二, 松嶋敏泰
    • Organizer
      第44回情報理論とその応用シンポジウム
    • Related Report
      2021 Research-status Report
  • [Presentation] URLモデルを仮定した下での母集団全体に対する施策の有無の差に関するベイズ最適な推定とその近似アルゴリズム2021

    • Author(s)
      石渡泰祐, 齋藤翔太, 中原悠太, 飯窪祐二, 松嶋敏泰
    • Organizer
      第44回情報理論とその応用シンポジウム
    • Related Report
      2021 Research-status Report
  • [Presentation] マルコフ連鎖モンテカルロメタツリー法2021

    • Author(s)
      中原悠太, 齋藤翔太, 風間皐希, 于文斌, 一條尚希, 松嶋敏泰
    • Organizer
      第24回情報論的学習理論ワークショップ(IBIS2021)
    • Related Report
      2021 Research-status Report
  • [Presentation] クラスタ構造を説明する変数と回帰構造を説明する変数により表現された線形回帰モデルにおける計算量削減に関する一考察 ~ ベイズ最適な予測とその近似アルゴリズム ~2021

    • Author(s)
      香山渉, 齋藤翔太, 松嶋敏泰
    • Organizer
      電子情報通信学会 情報理論研究会
    • Related Report
      2021 Research-status Report
  • [Presentation] 潜在クラスタを仮定することで個人差を考慮した施策の有無による反応変数の差に関するベイズ最適な予測とその近似アルゴリズム2021

    • Author(s)
      石渡泰祐, 齋藤翔太, 松嶋敏泰
    • Organizer
      電子情報通信学会 情報理論研究会
    • Related Report
      2021 Research-status Report
  • [Presentation] Non-asymptotic converse theorem on the overflow probability of variable-to-fixed length codes2021

    • Author(s)
      Shota Saito, Toshiyasu Matsushima
    • Organizer
      電子情報通信学会情報理論研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] 区間ごとに文脈木モデルが変化する情報源における効率的ベイズ符号化アルゴリズム2021

    • Author(s)
      島田航志, 齋藤翔太, 松嶋敏泰
    • Organizer
      電子情報通信学会情報理論研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] 複数の隠れマルコフモデルの重み付けによるベイズ基準のもとでの最適な音素の予測2021

    • Author(s)
      山岡大志, 齋藤翔太, 松嶋敏泰
    • Organizer
      電子情報通信学会音声研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] On Two Information Quantities Relating Two Distortion Balls2020

    • Author(s)
      Shota Saito, Toshiyasu Matsushima
    • Organizer
      2020 International Symposium on Information Theory and Its Applications
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] Evaluation of Error Probability of Classification Based on the Analysis of the Bayes Code2020

    • Author(s)
      Shota Saito, Toshiyasu Matsushima
    • Organizer
      2020 IEEE International Symposium on Information Theory
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] ベイズ符号の解析に基づいた分類誤り確率の評価 ~拡張と具体例~2020

    • Author(s)
      齋藤翔太, 松嶋敏泰
    • Organizer
      電子情報通信学会情報理論研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] 音素認識問題におけるベイズ規準の下最適な予測に対する近似手法2020

    • Author(s)
      山岡大志, 齋藤翔太, 松嶋敏泰
    • Organizer
      電子情報通信学会情報理論研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] 線形回帰モデルの混合の統一的なフレームワークにおけるベイズ最適な予測とその近似アルゴリズム2020

    • Author(s)
      村山 春香, 齋藤 翔太, 飯窪 祐二, 中原 悠太, 松嶋 敏泰
    • Organizer
      2020年度統計関連学会連合大会
    • Related Report
      2020 Research-status Report
  • [Presentation] Probabilistic Data Generating Process on Tree Structure Model: Bayes Optimal Prediction and Sub-Optimal Algorithm2020

    • Author(s)
      Nao Dobashi, Shota Saito, Yuta Nakahara, Toshiyasu Matsushima
    • Organizer
      2020年度統計関連学会連合大会
    • Related Report
      2020 Research-status Report
  • [Presentation] 変分ベイズ法によって導出された近似事後分布を用いた予測分布とベイズ予測分布の$\alpha$-ダイバージェンスの漸近評価2020

    • Author(s)
      山田一翔, 齋藤翔太, 松嶋敏泰
    • Organizer
      電子情報通信学会情報理論研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] Non-Asymptotic Fundamental Limits of Guessing Subject to Distortion2019

    • Author(s)
      Shota Saito, Toshiyasu Matsushima
    • Organizer
      2019 IEEE International Symposium on Information Theory
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] クラスター説明変数と回帰説明変数により表現された線形回帰モデルにおけるベイズ最適な予測の近似手法2019

    • Author(s)
      村山春香, 齋藤翔太, 中原悠太, 松嶋敏泰
    • Organizer
      電子情報通信学会情報理論研究会
    • Related Report
      2019 Research-status Report
  • [Presentation] 決定木モデルにおける集団学習法の考えを用いたベイズ最適な分類の近似アルゴリズム2019

    • Author(s)
      土橋那央, 齋藤翔太, 松嶋敏泰
    • Organizer
      電子情報通信学会情報理論研究会
    • Related Report
      2019 Research-status Report
  • [Presentation] Evaluation of Error Probability of Classification Based on the Analysis of the Bayes Code2019

    • Author(s)
      齋藤翔太, 松嶋敏泰
    • Organizer
      第42回情報理論とその応用シンポジウム
    • Related Report
      2019 Research-status Report
  • [Presentation] Guessing ~基礎と広がり~2019

    • Author(s)
      齋藤翔太
    • Organizer
      第42回情報理論とその応用シンポジウム
    • Related Report
      2019 Research-status Report
    • Invited
  • [Presentation] 潜在変数に非正規分布を仮定した回帰モデルにおけるベイズ基準の下最適な予測に対する近似手法2019

    • Author(s)
      天野祐貴, 齋藤翔太, 松嶋敏泰
    • Organizer
      第42回情報理論とその応用シンポジウム
    • Related Report
      2019 Research-status Report

URL: 

Published: 2019-04-18   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi