• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2019 年度 実績報告書

階層構造を持つ確率的凸最適化アルゴリズムの開発と大規模機械学習問題への応用

研究課題

研究課題/領域番号 19H04134
研究機関東京工業大学

研究代表者

山田 功  東京工業大学, 工学院, 教授 (50230446)

研究分担者 湯川 正裕  慶應義塾大学, 理工学部(矢上), 准教授 (60462743)
研究期間 (年度) 2019-04-01 – 2024-03-31
キーワード階層構造を持つ最適化 / 確率的凸最適化 / 大規模機械学習
研究実績の概要

階層構造を持つ凸最適化アルゴリズムを機械学習に効果的に応用するための基盤構築に取り組み、その成果を凸最適化理論の世界的権威(Bauschke等)が企画編集した研究書収録の査読付き招待論文(77頁)の形で世界に発信することができた。この論文には「非拡大写像の不動点集合上の凸最適化法(ハイブリッド最急降下法)」と「単調作用素の近接分解法」の融合による「階層構造を持つ凸最適化問題の解法」とその応用法を示したものであり、1995年以来の未解決問題「誤識別サンプル数を最小にする線形識別器の中から最大マージンを達成する特別な線形識別器を選択する問題」に対する実用的近似解法を与えることに成功している。なお、この方針を多クラス識別問題に拡張することにも成功しており、経験ヒンジ損失最小を達成する全ての多クラス線形識別器の中で、全てのクラス間マージンを一様最大化する線形識別器実現問題を世界ではじめて定式化し、その解法を実現している。その他にも「非負値成分制約を満たす超複素行列」の解集合を計算可能な非拡大写像の不動点集合によって表現できることを示すと共に、スパースな情報表現が求められる逆問題の切り札として注目されている「一般化モローエンベロープ型モデル」の解集合も計算可能な非拡大写像の不動点集合によって表現できること示し、各々の問題の最適解への収束が理論的に保証されたアルゴリズムの開発に成功している。さらに、複数行列の近似同時対角化問題を構造制約付き低ランク行列補完問題に帰着する新解法のアイディアを与え、その解集合が非線形写像の不動点集合によって近似できることを示している。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

本研究プロジェクトは世界でも類のない研究課題であり、多くの数理的課題を1つずつ解決していく必要がある。2019年度には本プロジェクトの重要な数理的基盤の一翼となる基本的アイディアの実現法と応用の有効性を示すことができた。

今後の研究の推進方策

確率的最適化のアイディアを「階層構造を持つ凸最適化」に導入するのに必要となる基盤数理構築のための調査研究を進める予定である。まずは、機械学習分野で検討が進められてきた単層型凸最適化のための数理の中から関連の可能性のあるアイディアを精査し、発展させていく方針から着手していきたい。

  • 研究成果

    (10件)

すべて 2020 2019

すべて 雑誌論文 (2件) (うち査読あり 2件) 学会発表 (8件) (うち国際学会 3件、 招待講演 3件)

  • [雑誌論文] Linearly Involved Generalized Moreau Enhanced Models and Their Proximal Splitting Algorithm under Overall Convexity Condition2020

    • 著者名/発表者名
      Jiro Abe, Masao Yamagishi, Isao Yamada
    • 雑誌名

      Inverse Problems

      巻: Volume 36 ページ: pp. 36

    • DOI

      https://doi.org/10.1088/1361-6420/ab551e

    • 査読あり
  • [雑誌論文] Hierarchical convex optimization by the hybrid steepest descent method with Proximal Splitting - Enhancements of SVM and Lasso2019

    • 著者名/発表者名
      Isao Yamada, Masao Yamagishi.
    • 雑誌名

      Splitting Algorithms, Modern Operator Theory and Applications, H. H. Bauschke, R. Burachik and D. R. Luke eds.

      巻: Dec 2019 ページ: pp413-489

    • DOI

      https://doi.org/10.1007/978-3-030-25939-6_16

    • 査読あり
  • [学会発表] Hypercomplex Low Rank Matrix Completion with Non-negative Constraints via Convex Optimization2019

    • 著者名/発表者名
      Takehiko Mizoguchi, Isao Yamada
    • 学会等名
      IEEE ICASSP 2019
    • 国際学会
  • [学会発表] Convexity-Edge-Preserving Signal Recovery with Linearly Involved Generalized Minimax Concave Penalty Function2019

    • 著者名/発表者名
      Jiro Abe, Masao Yamagishi, Isao Yamada
    • 学会等名
      IEEE ICASSP 2019
    • 国際学会
  • [学会発表] An Alternating Projection Algorithm for Approximate Simultaneous Diagonalization2019

    • 著者名/発表者名
      Riku Akema, Masao Yamagishi, Isao Yamada
    • 学会等名
      IEEE ICASSP 2019
    • 国際学会
  • [学会発表] Cayley-Dickson数体系における線形代数的特徴量の新しい解釈法と超複素テンソル補完問題への応用2019

    • 著者名/発表者名
      山田功, 溝口毅彦
    • 学会等名
      日本応用数理学会「行列・固有値問題の解法とその応用」研究集会
    • 招待講演
  • [学会発表] 最適化数理と不動点理論の融合によって生まれた新世代の信号処理アルゴリズムについて2019

    • 著者名/発表者名
      山田功
    • 学会等名
      2019年第10回IEEE東京支部講演会
    • 招待講演
  • [学会発表] スパース信号処理のためのLinearly involved Generalized Moreau Enhanced モデルと大域的最適解への収束保証付きアルゴリズムについて2019

    • 著者名/発表者名
      山田功, 安倍次朗, 山岸昌夫
    • 学会等名
      東北大学電気通信研究所共同プロジェクト研究研究会:高次元ニューロダイナミクスとそのニューロハードウエア構築への展開
  • [学会発表] What is the Ideal Extension of SVM for Multiclass Classification ?2019

    • 著者名/発表者名
      Yunosuke Nakayama, Masao Yamagishi, Isao Yamada
    • 学会等名
      第34回信号処理シンポジウム
  • [学会発表] 信号処理屋から見たいくつかの普遍的な数値解析的課題と新解法のアイディアについて2019

    • 著者名/発表者名
      山田功
    • 学会等名
      国立情報学研究所ランチセミナー
    • 招待講演

URL: 

公開日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi