• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

多重スケールデータの頑健オンライン次元削減法の構築

Research Project

Project/Area Number 22KJ2720
Project/Area Number (Other) 22J22588 (2022)
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeMulti-year Fund (2023)
Single-year Grants (2022)
Section国内
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionKeio University

Principal Investigator

鈴木 京平  慶應義塾大学, 理工学研究科(矢上), 特別研究員(DC1)

Project Period (FY) 2023-03-08 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2024: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2023: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2022: ¥900,000 (Direct Cost: ¥900,000)
Keywords教師ありクラスタリング / 近接作用素 / OSCAR / firm shrinkage / スパースモデリング / 頑健スパース信号復元 / MC関数 / 頑健回帰推定 / グルーピング効果
Outline of Research at the Start

高次元データを用いた信号処理では、計算量が指数的に増大する「次元の呪い」を回避するため、次元削減法が重要な役割を果たす。しかし、その代表例である主成分分析には、複雑な構造を持つデータに対して性能が劣化するという問題がある。本研究では、多重スケール性を適切に表現できるオンライン回帰手法「多カーネル適応フィルタ」を発展させ、雑音と外れ値の統計的性質を反映した定式化と融合させることで、非線形性、多重スケール性、オンライン性を持ち、外れ値や欠損による汚染に対応できる次元削減法を構築する。

Outline of Annual Research Achievements

当該年度は、遺伝子発現解析や脳画像解析などの重要な応用を持つ教師ありクラスタリング問題に取り組んだ。同問題では、観測データと強い関連を持つ重要な変数のグループの推定が目的となる。例えば、遺伝子発現解析に関する同問題を解くことで、対象の疾病に関連する遺伝子のグループの特定が可能となる。同問題の代表的手法であるOSCAR(octagonal shrinkage and clustering algorithm for regression)は、大きな係数に大きな罰則を与えることでグループ化されたベクトルを得るため、強いバイアスが生じてしまうという問題があった。一方、同様の問題はスパースモデリング分野で一般的に用いられるsoft shrinkage作用素に基づくL1ノルム最小化(lasso)にも生じるが、firm shrinkageという作用素に置き換えることで推定バイアスを低減できることが知られていた。本研究では、同作用素に着目し、その推定バイアス低減効果が得られるメカニズムをOSCARの場合にも適応できないかと着想した。まず、同作用素が2つのsoft shrinkage作用素の外分で表現可能なことを発見した。この外分による表現こそが高精度推定の鍵となるという仮定の下、より広い関数に適用可能な形に一般化し、「外分作用素」という新しいクラスの作用素を定義した。この一般化した枠組みをOSCARに適用することで、従来よりも高精度な推定が可能となることを数値実験により実証した。これらの成果は国内学会の信号処理シンポジウムや信号処理分野のトップカンファレンスICASSP2024で発表を行った。国際学術誌も準備しており、この4月に投稿できる見込みである。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

本研究課題の次元削減法を開発する上で、部分問題として、グループ構造を持つスパース信号の高精度な推定問題を解くことが有効であることが判明した。そこで、当該年度では、与えられた入力データの中で相関の高い変数グループを選択することを目的とする教師ありクラスタリング問題に取り組んだ。研究実施の概要で上述したように、本問題に取り組む中で、firm shrinkageが高精度推定を可能にするメカニズムが、2つのshrinkage作用素の外分で表現できることを発見し、外分作用素という一般的な枠組みを構築することに成功した。本研究ではさらに、外分作用素が特定の条件下でcocoercivityという性質を持つことを示し、これにより近接勾配法の近接作用素を外分作用素に置き換えたアルゴリズムが、対応する目的関数の大域的最適解に収束することを理論的に証明した。このアルゴリズムでは誤差関数の強凸性という強い仮定が必要になるが、劣決定系の逆問題のように強凸性が部分空間上に制限された場合でも収束保証ができるように拡張を行った。通常最適化分野では、所望の目的に適合する目的関数を設計してから、最適化アルゴリズムを適用する。対照的に、本研究では、最適化アルゴリズムの中で有用となる作用素を直接設計した後に、対応する目的関数を導出するという、本来とは逆のアプローチをとっている。これにより、通常では設計が困難であったこれまでにない目的関数の利用が可能となった。以上の結果は、当初計画していた次元削減や教師ありクラスタリング分野を超え、より広い範囲の応用で利用されてきた作用素の性質を強化する新たな理論の構築に繋がる可能性がある。

Strategy for Future Research Activity

今後は、上述した外分作用素による高精度な教師ありクラスタリング法のアプローチを発展させ、複雑な構造を持つデータの次元削減法に発展させることを目指す。そのため、2022年度に国内学会で発表した複数の異なるスケールを持つ多様体上に分布する高次元データの次元削減法に関する初期成果との融合を考える。実データを含む様々な構造を持つ多重スケールデータを用いた数値実験により、提案する次元削減法が適切に重要な情報を抽出可能であることを実証する予定である。

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Annual Research Report
  • Research Products

    (8 results)

All 2024 2023 2022

All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (6 results) (of which Int'l Joint Research: 3 results,  Invited: 1 results)

  • [Journal Article] Linearly-Involved Moreau-Enhanced-Over-Subspace Model: Debiased Sparse Modeling and Stable Outlier-Robust Regression2023

    • Author(s)
      Yukawa Masahiro, Kaneko Hiroyuki, Suzuki Kyohei, Yamada Isao
    • Journal Title

      IEEE Transactions on Signal Processing

      Volume: 71 Pages: 1232-1247

    • DOI

      10.1109/tsp.2023.3263724

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Sparse Stable Outlier-Robust Signal Recovery Under Gaussian Noise2023

    • Author(s)
      Suzuki Kyohei、Yukawa Masahiro
    • Journal Title

      IEEE Transactions on Signal Processing

      Volume: 71 Pages: 372-387

    • DOI

      10.1109/tsp.2023.3244082

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Presentation] External Division of Two Proximity Operators: An Application to Signal Recovery with Structured Sparsity2024

    • Author(s)
      Kyohei Suzuki
    • Organizer
      IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) 2024
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Debiased Estimation of Signals with Structured Sparsity Based on External Division of Two Proximity Operators2023

    • Author(s)
      Kyohei Suzuki
    • Organizer
      IEICE Signal Processing Symposium
    • Related Report
      2023 Research-status Report
  • [Presentation] ガウス性雑音環境下でのスパース安定頑健信号復元法2023

    • Author(s)
      鈴木京平
    • Organizer
      第22回情報科学技術フォーラム(FIT2023)
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] Multiscale Manifold Clustering and Embedding with Multiple Kernels2023

    • Author(s)
      Kyohei Suzuki, Masahiro Yukawa
    • Organizer
      Technical Report of IEICE
    • Related Report
      2022 Annual Research Report
  • [Presentation] Sparse Stable Outlier-Robust Regression with Minimax Concave Function2022

    • Author(s)
      Kyohei Suzuki, Masahiro Yukawa
    • Organizer
      International Workshop on Machine Learning for Signal Processing (MLSP)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] On Grouping Effect of Sparse Stable Outlier-Robust Regression2022

    • Author(s)
      Kyohei Suzuki, Masahiro Yukawa
    • Organizer
      International Workshop on Machine Learning for Signal Processing (MLSP)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2022-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi