• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2016 Fiscal Year Research-status Report

リーマン多様体上の共役勾配法の進展および諸分野における大規模問題への応用

Research Project

Project/Area Number 16K17647
Research InstitutionTokyo University of Science

Principal Investigator

佐藤 寛之  東京理科大学, 工学部情報工学科, 助教 (80734433)

Project Period (FY) 2016-04-01 – 2019-03-31
Keywords最適化 / アルゴリズム / 応用数学 / 数理工学 / 幾何学
Outline of Annual Research Achievements

制御理論分野において,大規模なシステムに対して適切な制御器を設計する問題をリーマン多様体上の最適化問題として定式化し,本研究課題のテーマである幾何学的な非線形共役勾配法をはじめとする最適化手法に基づき,解法アルゴリズムを提案した.とくに,先行研究では,低次元化後のシステム行列のすべてを制約なしの決定変数と見なすか,すべてを元のシステム行列の列直交行列による変換で得られるものとしてその列直交行列を決定変数とする方法が考えられていたが,両者の利点を取り入れるために,本研究では状態行列のみを列直交行列による変換として安定性を保ち,他の行列は制約なしの変数とした.こうしてできるシュティーフェル多様体とユークリッド空間の積多様体上の問題を提案し,非線形共役勾配法による解法を導出した.
また,同じく大規模な最適化手法である確率的最適化手法のリーマン多様体上への拡張に関する理論的な研究も行った.そこでは,レトラクションやベクトルトランスポートといった幾何学的な道具を駆使してアルゴリズムの提案および収束性の解析を行ったが,ここで得られた知見はリーマン多様体上の共役勾配法の研究にも密接に関係しており,その理論的研究の足場になることが期待される.
さらに,与えられた正定値対称行列が定める内積に関して,一定サイズの列直交行列全体がなす一般化シュティーフェル多様体上の最適化において,効果的なレトラクションをコレスキーQR分解に基づいて新たに提案した.レトラクションは最適化アルゴリズムの各反復において,またステップ幅を選択するための内部反復において,毎回計算する必要があり,レトラクションの効率的な計算は最適化手法の高速化に繋がる.提案したレトラクションを本研究課題の対象である共役勾配法において用いることで,実際に高速かつ高精度なアルゴリズムが実現されることを,正準相関分析の例などを用いて確かめた.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

リーマン多様体上の新たな共役勾配法の提案についての結果はまだ発表できていないが,平成29年度以降に実施予定であった共役勾配法の応用研究については研究が進んでいる.また,共役勾配法とも関連のある確率的最適化手法の研究を行ったことにより,そこで得られた知見が共役勾配法の研究に活用できると期待される.

Strategy for Future Research Activity

リーマン多様体上の測地線に沿った平行移動はベクトルトランスポートの一種であり等長性をもつ.等長的なベクトルトランスポートを用いる場合には,共役勾配法のユークリッド空間からリーマン多様体上への拡張は比較的容易であるが,平行移動を数値的に実現するのは困難な場合もある.たとえば,シュティーフェル多様体は与えられたサイズの縦長の列直交行列全体として定義されるが,これをそのサイズの行列全体がなすユークリッド空間の部分多様体と見なすと,平行移動の公式を陽に書き下すことはできない.このような場合に平行移動を利用するには,平行移動を特徴付ける微分方程式を数値的に解かねばならないため,精度や計算時間が課題となり得る.
一方,レトラクションやベクトルトランスポートについては,新たな研究が行われ続けている.とくに,ベクトルトランスポートに対して近年提案された locking condition と呼ばれる条件を用いると,等長性をもつベクトルトランスポートの構成が可能になり,より効果的なアルゴリズムの提案および収束が可能になると見込まれる.このような最新の成果を利用しつつ,より良いアルゴリズムの提案を目指す.

Causes of Carryover

当初は平成29年度に支出の可能性のあった書籍の校正費用を,平成28年度に支出するため前倒し支払請求を行ったが,共役勾配法の理論的な研究に関して,同分野の他の研究者や応募者の研究の進展状況により執筆内容に吟味が必要であり,校正予定であった原稿が平成28年度内に完成しなかったため,前倒し支払請求分とほぼ同額の次年度使用額が生じた.

Expenditure Plan for Carryover Budget

当初の予定通り,校正のための費用とする.

  • Research Products

    (19 results)

All 2017 2016

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Acknowledgement Compliant: 3 results,  Open Access: 1 results) Presentation (16 results) (of which Int'l Joint Research: 3 results)

  • [Journal Article] リーマン多様体上の最適化の理論と応用2017

    • Author(s)
      佐藤寛之
    • Journal Title

      応用数理

      Volume: 27 Pages: 21-30

    • Peer Reviewed / Open Access / Acknowledgement Compliant
  • [Journal Article] A matrix-free implementation of Riemannian Newton's method on the Stiefel manifold2016

    • Author(s)
      Kensuke Aihara and Hiroyuki Sato
    • Journal Title

      Optimization Letters

      Volume: 印刷中 Pages: 印刷中

    • DOI

      10.1007/s11590-016-1090-9

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] A new H^2 optimal model reduction method based on Riemannian conjugate gradient method2016

    • Author(s)
      Hiroyuki Sato and Kazuhiro Sato
    • Journal Title

      Proceedings of the 55th IEEE Conference on Decision and Control

      Volume: - Pages: 5762-5768

    • DOI

      10.1109/CDC.2016.7799155

    • Peer Reviewed / Acknowledgement Compliant
  • [Presentation] 一般化シュティーフェル多様体上の最適化におけるレトラクションについて2017

    • Author(s)
      佐藤寛之,相原研輔
    • Organizer
      日本オペレーションズ・リサーチ学会 2017年春季研究発表会
    • Place of Presentation
      沖縄県市町村自治会館(沖縄県那覇市)
    • Year and Date
      2017-03-15 – 2017-03-17
  • [Presentation] A new H^2 optimal model reduction method based on Riemannian conjugate gradient method2016

    • Author(s)
      Hiroyuki Sato and Kazuhiro Sato
    • Organizer
      The 55th IEEE Conference on Decision and Control
    • Place of Presentation
      Las Vegas (USA)
    • Year and Date
      2016-12-12 – 2016-12-14
    • Int'l Joint Research
  • [Presentation] Riemannian stochastic variance reduced gradient on Grassmann manifold2016

    • Author(s)
      Hiroyuki Kasai, Hiroyuki Sato, and Bamdev Mishra
    • Organizer
      The 9th NIPS Workshop on Optimization for Machine Learning
    • Place of Presentation
      Barcelona (Spain)
    • Year and Date
      2016-12-10
    • Int'l Joint Research
  • [Presentation] QR分解に基づくシュティーフェル多様体上のレトラクションの一般化について2016

    • Author(s)
      佐藤寛之,相原研輔
    • Organizer
      日本応用数理学会「行列・固有値問題の解法とその応用」研究部会第22回研究会
    • Place of Presentation
      東京大学(東京都文京区)
    • Year and Date
      2016-11-25
  • [Presentation] Riemannian stochastic variance reduced gradient (R-SVRG)2016

    • Author(s)
      笠井裕之,佐藤寛之,Bamdev Mishra
    • Organizer
      第19回情報論的学習理論ワークショップ (IBIS2016)
    • Place of Presentation
      京都大学(京都府京都市)
    • Year and Date
      2016-11-16 – 2016-11-19
  • [Presentation] Riemannian stochastic variance reduced gradient for large-scale data applications2016

    • Author(s)
      佐藤寛之,笠井裕之,Bamdev Mishra
    • Organizer
      2016年電子情報通信学会ソサイエティ大会
    • Place of Presentation
      北海道大学(北海道札幌市)
    • Year and Date
      2016-09-20 – 2016-09-23
  • [Presentation] Riemannian stochastic variance reduced gradient and its convergence analysis2016

    • Author(s)
      佐藤寛之,笠井裕之,Bamdev Mishra
    • Organizer
      日本オペレーションズ・リサーチ学会 2016年秋季研究発表会
    • Place of Presentation
      山形大学(山形県山形市)
    • Year and Date
      2016-09-14 – 2016-09-16
  • [Presentation] SVRG 法のグラスマン多様体上への拡張とその行列補完問題への応用2016

    • Author(s)
      佐藤寛之,笠井裕之,Bamdev Mishra
    • Organizer
      日本応用数理学会2016年度年会
    • Place of Presentation
      北九州国際会議場(福岡県北九州市)
    • Year and Date
      2016-09-12 – 2016-09-14
  • [Presentation] コレスキーQR分解に基づく一般化シュティーフェル多様体上のレトラクション2016

    • Author(s)
      相原研輔,佐藤寛之
    • Organizer
      日本応用数理学会2016年度年会
    • Place of Presentation
      北九州国際会議場(福岡県北九州市)
    • Year and Date
      2016-09-12 – 2016-09-14
  • [Presentation] Riemannian stochastic variance reduced gradient on Grassmann manifold2016

    • Author(s)
      笠井裕之,佐藤寛之,Bamdev Mishra
    • Organizer
      第15回情報科学技術フォーラム
    • Place of Presentation
      富山大学(富山県富山市)
    • Year and Date
      2016-09-07 – 2016-09-09
  • [Presentation] Riemannian stochastic variance reduced gradient and its applications to machine learning2016

    • Author(s)
      佐藤寛之,笠井裕之,Bamdev Mishra
    • Organizer
      2016年度統計関連学会連合大会
    • Place of Presentation
      金沢大学(石川県金沢市)
    • Year and Date
      2016-09-04 – 2016-09-07
  • [Presentation] 直交制約つき最適化問題に対するリーマン多様体上の確率的分散縮小勾配法2016

    • Author(s)
      佐藤寛之,笠井裕之,Bamdev Mishra
    • Organizer
      京都大学数理解析研究所研究集会「最適化技法の最先端と今後の展開」
    • Place of Presentation
      京都大学数理解析研究所(京都府京都市)
    • Year and Date
      2016-08-25 – 2016-08-26
  • [Presentation] 一般化シュティーフェル多様体上のレトラクションとその効果的な実装について2016

    • Author(s)
      佐藤寛之,相原研輔
    • Organizer
      京都大学数理解析研究所研究集会「最適化技法の最先端と今後の展開」
    • Place of Presentation
      京都大学数理解析研究所(京都府京都市)
    • Year and Date
      2016-08-25 – 2016-08-26
  • [Presentation] Riemannian stochastic variance reduced gradient on Grassmann manifold2016

    • Author(s)
      Hiroyuki Kasai, Hiroyuki Sato, and Bamdev Mishra
    • Organizer
      The Fifth International Conference on Continuous Optimization
    • Place of Presentation
      政策研究大学院大学(東京都港区)
    • Year and Date
      2016-08-06 – 2016-08-11
    • Int'l Joint Research
  • [Presentation] Riemannian stochastic variance reduced gradient for large-scale machine learning2016

    • Author(s)
      笠井裕之,佐藤寛之,Bamdev Mishra
    • Organizer
      電子情報通信学会 モバイルネットワークとアプリケーション研究会 (MoNA)
    • Place of Presentation
      神戸大学(兵庫県神戸市)
    • Year and Date
      2016-08-01 – 2016-08-02
  • [Presentation] 非線形共役勾配法のリーマン多様体上への拡張とその応用について2016

    • Author(s)
      佐藤寛之
    • Organizer
      応用解析研究会 ~ 可積分系から計算数学まで ~
    • Place of Presentation
      天満研修センター(大阪府大阪市)
    • Year and Date
      2016-05-19 – 2016-05-21

URL: 

Published: 2018-01-16  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi