最小二乗問題の高速解法とその応用

2016 Fiscal Year Research-status Report

• Project/Area Number: 15K04768
• Research Institution: National Institute of Informatics
• Principal Investigator: 速水 謙 国立情報学研究所, 情報学プリンシプル研究系, 教授 (20251358)
• Project Period (FY): 2015-04-01 – 2018-03-31
• Keywords: 最小二乗問題 / 反復解法 / 非負制約付き最小二乗問題 / 非負値行列因子分解 / active-set法 / 劣決定最小二乗問題 / GMRES法 / 共役勾配法

Outline of Annual Research Achievements

非負制約付き最小二乗問題の反復解法については、絶対値変換と共役勾配法による内部反復を用い、更にactive set法によって高速化する手法を提案し、従来法に対する優位性を数値実験により示した。また、その収束性を理論的に示した。さらに、同手法を画像再構成で生じる非適切問題に応用し、Tikhonovの正則化法と組み合わせて従来法に比べて優位であることを数値実験により示した。以上の成果をまとめた英論文がトップジャーナルに掲載された。さらに、同手法を箱型制約付きの最小二乗問題に拡張し, 数値実験により手法を評価した。また、信号処理で有用な非負値行列因子分解(Nonnegative Matrix Factorization, NMF)の交互最小二乗法の各反復が多数の右辺項に対する非負制約付き最小二乗問題であることに着目し、我々の開発した絶対値変換を用いた非負制約付き最小二乗問題の反復解法を応用し、多数の右辺に対するactive-set法を提案することにより高速化し、従来法よりも優れていることを数値実験により確認した。悪条件の劣決定最小二乗問題に対して、正規方程式を用いて右前処理付き一般化残差最小(GMRES)法を安定に収束させる方法を開発した。対称特異な連立一次方程式に対する右前処理Minres法に関しては、右辺が像空間に含まれない場合の収束解析を完成させた。最小二乗問題に式や変数が加わったり削除された場合の反復法の前処理の更新法を提案し、その有効性を検証した。
最小二乗問題の内部反復前処理クリロフ部分空間法を、線形計画問題の主双対内点法の各反復で生じる劣決定の連立一次方程式の解法に適用する手法に関しては英論文を修正し、再投稿した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

非負制約付き最小二乗問題に対して開発した反復解法を非負値行列因子分解に応用し、さらに高速化する方法を開発し、従来法に対する優位性を確認した。また、劣決定最小二乗問題に対して安定に収束させる方法を開発した。

Strategy for Future Research Activity

今回提案した非負値行列因子分解の新解法、劣決定最小二乗問題に対する解法、とともに、従来から行っている箱型制約付き最小二乗問題の新解法、対称特異な系に対する右前処理反復解法、内点法に対する反復法などの英論文執筆、掲載をめざす。
非負制約付き最小二乗問題の反復解法の非適切問題への応用、拡張を行う。

Research Products

• [Int'l Joint Research] Kent State University(米国)
  • Country Name: U.S.A.
  • Counterpart Institution: Kent State University
• [Int'l Joint Research] Universitat Politecnica de Valencia(スペイン)
  • Country Name: SPAIN
  • Counterpart Institution: Universitat Politecnica de Valencia
• [Int'l Joint Research] Tongji University(中国)
  • Country Name: CHINA
  • Counterpart Institution: Tongji University
• [Journal Article] A modulus-based iterative method for constrained Tikhonov regularization (2017)
  • Author(s): Bai, Z.-Z., Buccini, A., Hayami, K., Reichel, L., Yin, J.-F., and Zheng, N.
  • Journal Title: Journal of Computational and Applied Mathematics Volume: 319 Pages: 1-13
  • DOI: 10.1016/j.cam.2016.12.023
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Modulus-type inner outer iteration methods for nonnegative constrained least squares problems (2016)
  • Author(s): Zheng, N., Hayami, K., and Yin, J.-F.
  • Journal Title: SIAM Journal on Matrix Analysis and Applications Volume: 37 Pages: 1250-1278
  • DOI: 10.1137/141002220
  • Peer Reviewed / Int'l Joint Research / Acknowledgement Compliant
• [Presentation] Nonnegative Matrix Factorization via A New Alternating Nonnegative Least Squares Method and Anderson Acceleration (2016)
  • Author(s): Zheng, N., Hayami, K., and Ono, N.
  • Organizer: 日本応用数理学会「行列・固有値問題の解法とその応用」研究部会 第22回研究会
  • Place of Presentation: 東京大学工学部(東京都・文京区）
  • Year and Date: 2016-11-25 – 2016-11-25
• [Presentation] A Stabilized GMRES Method for Solving Inconsistent Underdetermined Least Squares Problems (2016)
  • Author(s): Liao, Z., Hayami, K., and Yin, J.-F.
  • Organizer: 日本応用数理学会「行列・固有値問題の解法とその応用」研究部会 第22回研究会
  • Place of Presentation: 東京大学工学部(東京都・文京区）
  • Year and Date: 2016-11-25 – 2016-11-25
• [Presentation] An Alternating Modulus Nonnegative Least Squares Method for Nonnegative Matrix Factorization (2016)
  • Author(s): Zheng, N., Hayami, K.*, and Ono, N.
  • Organizer: Conference: Numerical Linear Algebra and Applications (NL2A), Centre International de Rencontres Mathematiques (CIRM),
  • Place of Presentation: Luminy, France
  • Year and Date: 2016-10-24 – 2016-10-28
  • Int'l Joint Research / Invited
• [Presentation] An Alternating Modulus Nonnegative Least Squares Method for Nonnegative Matrix Factorization (2016)
  • Author(s): Zheng, N. and Hayami, K.
  • Organizer: 日本応用数理学会2016年度年会 [研究部会OS] 行列・固有値問題の解法とその応用(1)
  • Place of Presentation: 北九州国際会議場(福岡県・北九州市)
  • Year and Date: 2016-09-12 – 2016-09-14
• [Presentation] Implementation of Interior-point Methods for LP Based on Krylov Subspace Iterative Solvers with Inner-Iteration Preconditioning (2016)
  • Author(s): Cui, Y., Morikuni, K., Tsuchiya, T., and Hayami, K.
  • Organizer: 5th IMA Conference on Numerical Linear Algebra and Optimization
  • Place of Presentation: Birmingham, U.K.
  • Year and Date: 2016-09-07 – 2016-09-09
  • Int'l Joint Research
• [Presentation] Right Preconditioned MINRES for Singular Systems (2016)
  • Author(s): Sugihara, K., Zheng, N., and Hayami, K.
  • Organizer: 5th IMA Conference on Numerical Linear Algebra and Optimization
  • Place of Presentation: Birmingham, U.K.
  • Year and Date: 2016-09-07 – 2016-09-09
  • Int'l Joint Research
• [Presentation] Modulus-Based Iteration Methods for Nonnegative and Box Constrained Least Square Problems (2016)
  • Author(s): Zheng, N., Hayami, K.＊, and Yin, J.-F.
  • Organizer: The Sixth China-Japan-Korea Joint Conference on Numerical Mathematics
  • Place of Presentation: Daejeon, Korea
  • Year and Date: 2016-08-22 – 2016-08-26
  • Int'l Joint Research / Invited
• [Presentation] Implementation of Interior-point Methods for LP using Krylov Subspace Methods Preconditioned by Inner Iterations (2016)
  • Author(s): Morikuni, K., Cui, Y., Tsuchiya, T., and Hayami, K.
  • Organizer: Workshop on Advances in Optimization
  • Place of Presentation: TKP品川カンファレンスセンター(東京都・港区）
  • Year and Date: 2016-08-12 – 2016-08-13
  • Int'l Joint Research
• [Presentation] Implementation of Interior-Point Methods for LP using Krylov Subspace Methods Preconditioned by Inner Iterations (2016)
  • Author(s): Morikuni, K., Cui, Y., Tsuchiya, T., and Hayami, K.
  • Organizer: The Fifth International Conference on Continuous Optimization of the Mathematical Optimization Society (ICCOPT)
  • Place of Presentation: 政策研究大学院大学(東京都・港区）
  • Year and Date: 2016-08-06 – 2016-08-11
  • Int'l Joint Research
• [Presentation] Updating preconditioners for least squares problems (2016)
  • Author(s): Marin, J., Mas, J.＊, and Hayami, K.
  • Organizer: Mini Symposium: Recent Advances in the Solution of Least Squares Problems, 20th Conference of the International Linear Algebra Society (ILAS)
  • Place of Presentation: Leuven, Belgium
  • Year and Date: 2016-07-11 – 2016-07-15
  • Int'l Joint Research
• [Presentation] Modulus Iterative Methods for Least Squares Problems with Box Constraints (2016)
  • Author(s): Zheng, N., Hayami, K., and Yin, J.-F.
  • Organizer: Mini Symposium: Recent Advances in the Solution of Least Squares Problems, 20th Conference of the International Linear Algebra Society (ILAS)
  • Place of Presentation: Leuven, Belgium
  • Year and Date: 2016-07-11 – 2016-07-15
  • Int'l Joint Research
• [Presentation] Updating preconditioners for least squares problems (2016)
  • Author(s): Marin, J., Mas, J., and Hayami, K.
  • Organizer: Álgebra Lineal, Análisis Matricial y Aplicaciones (ALAMA2016)
  • Place of Presentation: Leon, Spain
  • Year and Date: 2016-06-20 – 2016-06-22
  • Int'l Joint Research
• [Presentation] Modulus Iterative Methods for Nonnegative Constrained Least Squares Problems Arising from Image Restoration (2016)
  • Author(s): Zheng, N., Hayami, K., Yin, J.
  • Organizer: SIAM Conference on Image Science
  • Place of Presentation: Albuquerque, USA
  • Year and Date: 2016-05-23 – 2016-05-26
  • Int'l Joint Research
• [Book] ギルバート・ストラング著, 日本応用数理学会監訳, 今井桂子・岡本久監訳幹事, 世界標準MIT教科書 ストラング：計算理工学, 第7章 大規模連立一次方程式一次方程式の解法 (2016)
  • Author(s): 速水 謙
  • Total Pages: 735 (549-591)
  • Publisher: 近代科学社
• [Remarks] 速水研究室ホームページ（ｒｅｓｅａｃｈｍａｐ）
  • URL: http://researchmap.jp/KenHayami/
• [Remarks] 速水研究室ホームページ
  • URL: http://research.nii.ac.jp/~hayami/index-j.htm