• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Research-status Report

有限長解析情報理論と最適化理論による実用高信頼高効率通信に向けた相乗的基礎研究

Research Project

Project/Area Number 17K06446
Research InstitutionWaseda University

Principal Investigator

松嶋 敏泰  早稲田大学, 理工学術院, 教授 (30219430)

Project Period (FY) 2017-04-01 – 2022-03-31
Keywords有限長解析 / 最適化問題 / 情報源符号化 / ベイズ符号
Outline of Annual Research Achievements

本研究では,最終的に,(a)符号化レートや誤り確率の理論限界を,実用的なデータ長や実用的な誤り確率を許して数値として導出する,(b)符号化復号システム全体を大きな最適化問題として定式化し,より実用的な制約のもと(準)最適な符号と復号の組として求める,というように,理論とアルゴリズムの研究を接近させ,融合・発展させること目標としている.本年度は,昨年度に引き続き,(a)に関連した研究として以下の(a')を,(b)に関連した研究として以下の(b')の研究を行った.その結果,(a')に関しては以下の(R-1),(b')に関しては以下の(R-2)の結果を得た.
(a') データ圧縮の研究である情報源符号化問題における,有限のデータ長に対する符号化レート,誤り確率等の理論限界の導出.さらに,その他分野への応用.
(b') 効率的な符号化復号アルゴリズムの構築.
(R-1) 有歪み情報源符号化におけるVF符号の有限符号語長におけるオーバーフロー確率のしきい値の下界をスムースマックスエントロピーという量を用いて導出した.また,ベイズ符号は,無歪み情報源符号化における代表的な符号のひとつであるが,ベイズ符号の有限符号語長の理論評価式を用いて,分類問題の誤り確率の精密な評価を行った.さらに,具体例に対して実用的なデータ長を仮定したもとで,分類誤り確率の上界と下界を数値として導出した.
(R-2) 無歪み情報源符号化問題においては,区間ごとに文脈木モデルが変化する情報源というi.i.d.情報源やマルコフ情報源など従来考えられてきた情報源クラスを含むようなクラスに対して効率的にベイズ符号化を行うアルゴリズムを構築した.そのほか,従来の無歪み画像圧縮における自己回帰生成モデルに正規雑音が加わるモデルを,t-分布雑音が加わるモデルへ拡張し,それに対し準最適なベイズ符号化アルゴリズムを構築した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究の最終的な目的は,(a)符号化レートや誤り確率の理論限界を,実用的なデータ長や実用的な誤り確率を許して数値として導出する,(b)符号化復号システム全体を大きな最適化問題として定式化し,より実用的な制約のもと(準)最適な符号と復号の組として求める,ということである.この目的に対して,以下の結果が得られたため,おおむね順調に進展していると判断した.
(1) 有歪み情報源符号化におけるVF符号の有限符号語長におけるオーバーフロー確率のしきい値の下界を導出できた.ほかにも,ベイズ符号に対する解析手法を学習理論における分類問題の分類誤り確率の評価手法に応用できた.
(2) 従来より広い情報源クラスである区間ごとに文脈木モデルが変化する情報源に対して効率的にベイズ符号化を行うアルゴリズムを構築した.そのほか,従来の無歪み画像圧縮における確率モデルを拡張したモデルに対し準最適なベイズ符号化の構成を行った.

Strategy for Future Research Activity

本年度で得られた成果をもとに,最終的な研究目標の達成に向けて,研究をさらに発展させる.具体的には,研究課題(a)に対しては以下の(i),研究課題(b)に対しては以下の(ii)のアプローチにより研究を実施する予定である.
(i)より実用に近い仮定のもと,より精密に数値的に誤り確率等が導出できる解析手法を構築する.
(ii)引き続き,符号化復号システムの構成の研究を行う.同時に,本年度の成果を基に,構成した符号化復号システムに対する誤り確率,符号化レートの評価手法の研究をさらに進めていく.
また,アプローチ(i)とアプローチ(ii)を近づけていき,最終的には両アプローチを融合させ相乗的な研究を目指す.

Causes of Carryover

新型コロナウイルスの影響で学会が中止あるいはオンライン開催になったことによって,出張費用がかからなかったため,次年度使用額が生じた.この費用は,論文掲載費,出張費用等に充当する予定である.

  • Research Products

    (26 results)

All 2021 2020

All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (24 results) (of which Int'l Joint Research: 7 results)

  • [Journal Article] Analysis of Decoding Error Probability of Spatially ``Mt. Fuji'' Coupled LDPC Codes in Waterfall Region of the BEC2020

    • Author(s)
      Y. Nakahara and T. Matsushima
    • Journal Title

      IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences

      Volume: E103.A Pages: 1337--1346

    • DOI

      10.1587/transfun.2020TAP0010

    • Peer Reviewed
  • [Journal Article] A bayesian decision-theoretic change-point detection for i.p.i.d. sources2020

    • Author(s)
      K. Suzuki, A. Kamatsuka and T. Matsushima
    • Journal Title

      IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences

      Volume: E103.A Pages: 1393--1402

    • DOI

      10.1587/transfun.2020TAP0009

    • Peer Reviewed
  • [Presentation] A Note on Computer Programming in Complex Space for Simultaneous Experiments2021

    • Author(s)
      Y. Ukita and T. Matsushima
    • Organizer
      RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing 2021
    • Int'l Joint Research
  • [Presentation] クラスタごとに状態遷移確率が異なる複数の対象を同時制御するためのマルコフ決定過程2021

    • Author(s)
      本村勇人,鎌塚明,風間皐希,松嶋敏泰
    • Organizer
      情報論的学習理論と機械学習研究会
  • [Presentation] Non-asymptotic converse theorem on the overflow probability of variable-to-fixed length codes2021

    • Author(s)
      齋藤翔太,松嶋敏泰
    • Organizer
      電子情報通信学会情報理論研究会
  • [Presentation] 区間ごとに文脈木モデルが変化する情報源における効率的ベイズ符号化アルゴリズム2021

    • Author(s)
      島田航志,齋藤翔太,松嶋敏泰
    • Organizer
      電子情報通信学会情報理論研究会
  • [Presentation] 複数の隠れマルコフモデルの重み付けによるベイズ基準のもとでの最適な音素の予測2021

    • Author(s)
      山岡大志,齋藤翔太,松嶋敏泰
    • Organizer
      電子情報通信学会情報理論研究会
  • [Presentation] 周辺画素によって異なる自己回帰係数を有する画像生成確率モデルとそのベイズ符号2021

    • Author(s)
      高野将大,中原悠太,松嶋敏泰
    • Organizer
      電子情報通信学会情報理論研究会
  • [Presentation] Bayesian approach for uplift linear regression2020

    • Author(s)
      Y. Iikubo and T. Matsushima
    • Organizer
      13th International Conference of the ERCIM WG on Computational and Methodological Statistics (CMStatistics)
    • Int'l Joint Research
  • [Presentation] Theoretical Analysis of the Advantage of Deepening Neural Networks2020

    • Author(s)
      Y. Esaki, Y. Nakahara and T. Matsushima
    • Organizer
      19th IEEE International Conference on Machine Learning and Applications (ICMLA)
    • Int'l Joint Research
  • [Presentation] A Note on a Relationship between Smooth Locally Decodable Codes and Private Information Retrieval2020

    • Author(s)
      K. Kazama, A. Kamatsuka, T. Yoshida and T. Matsushima
    • Organizer
      2020 International Symposium on Information Theory and its Application (ISITA)
    • Int'l Joint Research
  • [Presentation] On Two Information Quantities Relating Two Distortion Balls2020

    • Author(s)
      S. Saito and T. Matsushima
    • Organizer
      2020 International Symposium on Information Theory and its Application (ISITA)
    • Int'l Joint Research
  • [Presentation] Autoregressive Image Generative Models with Normal and t-distributed Noise and the Bayes Codes for Them2020

    • Author(s)
      Y. Nakahara and T. Matsushima
    • Organizer
      2020 International Symposium on Information Theory and its Application (ISITA)
    • Int'l Joint Research
  • [Presentation] Evaluation of Error Probability of Classification Based on the Analysis of the Bayes Code2020

    • Author(s)
      S. Saito and T. Matsushima
    • Organizer
      2020 IEEE International Symposium on Information Theory (ISIT)
    • Int'l Joint Research
  • [Presentation] ベイズ符号の解析に基づいた分類誤り確率の評価 ~拡張と具体例~2020

    • Author(s)
      齋藤翔太,松嶋敏泰
    • Organizer
      電子情報通信学会情報理論研究会
  • [Presentation] マルコフ決定過程問題における学習期間の行動のベイズ決定理論に基づく最適化2020

    • Author(s)
      一條尚希,中原悠太,本村勇人,松嶋敏泰
    • Organizer
      電子情報通信学会情報理論研究会
  • [Presentation] 消失を含むラベルノイズの下での分類に関する性能の限界について2020

    • Author(s)
      安田豪毅,須子統太,小林学,松嶋敏泰
    • Organizer
      電子情報通信学会情報理論研究会
  • [Presentation] 音素認識問題におけるベイズ規準の下最適な予測に対する近似手法2020

    • Author(s)
      山岡大志,齋藤翔太,松嶋敏泰
    • Organizer
      電子情報通信学会情報理論研究会
  • [Presentation] Probabilistic Data Generating Process on Tree Structure Model: Bayes Optimal Prediction and Sub-Optimal Algorithm2020

    • Author(s)
      土橋那央,齋藤翔太,中原悠太,松嶋敏泰
    • Organizer
      2020年度統計関連学会連合大会
  • [Presentation] ニューラルネットワークの深層化の利点の理論解析: 回帰関数の表現力と勾配法の学習効率を区別した評価基準2020

    • Author(s)
      江崎泰志,中原悠太,松嶋敏泰
    • Organizer
      2020年度統計関連学会連合大会
  • [Presentation] 複数の対象が複数のクラスタに属するマルコフ決定過程における同時制御手法の提案2020

    • Author(s)
      本村勇人,鎌塚明,松嶋敏泰
    • Organizer
      2020年度統計関連学会連合大会
  • [Presentation] 線形回帰モデルの混合の統一的なフレームワークにおけるベイズ最適な予測とその近似アルゴリズム2020

    • Author(s)
      村山春香,齋藤翔太,飯窪祐二,中原悠太,松嶋敏泰
    • Organizer
      2020年度統計関連学会連合大会
  • [Presentation] 変分ベイズ法によって導出された近似事後分布を用いた予測分布とベイズ予測分布のα-ダイバージェンスの漸近評価2020

    • Author(s)
      山田一翔,齋藤翔太,松嶋敏泰
    • Organizer
      電子情報通信学会情報理論研究会
  • [Presentation] i.p.i.d.情報源におけるベイズ規準の下で最適なRelevant な変化の検出2020

    • Author(s)
      鈴木海理,鎌塚明,松嶋敏泰
    • Organizer
      電子情報通信学会情報理論研究会
  • [Presentation] 自己回帰型の画像生成確率モデルとそれに対するベイズ符号2020

    • Author(s)
      中原悠太,松嶋敏泰
    • Organizer
      電子情報通信学会情報理論研究会
  • [Presentation] 脳腫瘍セグメンテーションのための階層的な隠れマルコフモデルの構築2020

    • Author(s)
      本多拓哉,中原悠太,松嶋敏泰
    • Organizer
      電子情報通信学会情報理論研究会

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi