最小二乗問題の高速解法とその応用

• 研究課題/領域番号: 15K04768
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 研究分野: 計算科学
• 研究機関: 国立情報学研究所
• 研究代表者: 速水 謙 国立情報学研究所, 情報学プリンシプル研究系, 教授 (20251358)
• 研究期間 (年度): 2015-04-01 – 2018-03-31
• 研究課題ステータス: 完了 (2017年度)
• 配分額: 5,070千円 (直接経費: 3,900千円、間接経費: 1,170千円); 2017年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円); 2016年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円); 2015年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
• キーワード: 最小二乗問題 / クリロフ部分空間法 / 非負制約付き最小二乗問題 / 画像復元 / 非負値行列因子分解 / 線形計画問題 / 共役勾配法 / 主双対内点法 / 非線形連立方程式 / 反復解法 / active-set法 / 劣決定最小二乗問題 / GMRES法 / 反復法 / 非負制約 / 箱型制約 / 半正定値系

研究成果の概要

非負制約付き最小二乗問題を、絶対値変換により制約なしの最小問題を繰り返し解く事に帰着する方法を開発し、その収束性を証明し、優位性を示した。また、同手法を画像修復問題に応用し、その有効性を示した。更に、信号処理等で有用な非負値行列因子分解にも応用し、その優位性を示した。
半正定値対称な行列を係数行列とする最小二乗問題に対して、右前処理MINRES法が破綻なく収束することを示し、Eisenstat-SSOR法を右前処理に用いる手法を提案し、その優位性を示した。我々が提案した内部反復前処理クリロフ部分空間解法を、線形計画問題の主双対内点法の各反復で生じる最小二乗問題に適用し、その有効性を示した。

研究成果

• [国際共同研究] Universitat Politecnica de Valencia(スペイン)
• [国際共同研究] Kent State University(米国)
• [国際共同研究] Kent State University(米国)
• [国際共同研究] Universitat Politecnica de Valencia(スペイン)
• [国際共同研究] Tongji University(中国)
• [国際共同研究] 同済大学(中国)
• [国際共同研究] Universitat Politecnica de Valencia(スペイン)
• [国際共同研究] Kent State University(米国)
• [雑誌論文] Updating preconditioners for modified least squares problems (2017)
  • 著者名/発表者名: Marin J.、Mas J.、Guerrero D.、Hayami K.
  • 雑誌名: Numerical Algorithms 巻: 75 号: 2 ページ: 491-508
  • DOI: 10.1007/s11075-017-0315-z
  • 査読あり / 国際共著
• [雑誌論文] A modulus-based iterative method for constrained Tikhonov regularization (2017)
  • 著者名/発表者名: Bai, Z.-Z., Buccini, A., Hayami, K., Reichel, L., Yin, J.-F., and Zheng, N.
  • 雑誌名: Journal of Computational and Applied Mathematics 巻: 319 ページ: 1-13
  • DOI: 10.1016/j.cam.2016.12.023
  • 査読あり / 国際共著
• [雑誌論文] Modulus-type inner outer iteration methods for nonnegative constrained least squares problems (2016)
  • 著者名/発表者名: Zheng, N., Hayami, K., and Yin, J.-F.
  • 雑誌名: SIAM Journal on Matrix Analysis and Applications 巻: 37 号: 3 ページ: 1250-1278
  • DOI: 10.1137/141002220
  • 査読あり / 国際共著 / 謝辞記載あり
• [雑誌論文] Jacobian-free implicit inner-iterative preconditioner for nonlinear least squares problems (2016)
  • 著者名/発表者名: Xu, W., Zheng, N., and Hayami, K.,
  • 雑誌名: Journal of Scientific Computing 巻: - 号: 3 ページ: 1-27
  • DOI: 10.1007/s10915-016-0167-z
  • 査読あり / 国際共著 / 謝辞記載あり
• [雑誌論文] 半正定値系に対するEisenstat SSOR による右前処理MINRES法 (2016)
  • 著者名/発表者名: 杉原光太, 速水 謙, Ning Zheng
  • 雑誌名: 日本応用数理学会論文誌 巻: - ページ: 1-43
  • NAID: 130005169903
  • 査読あり / オープンアクセス
• [雑誌論文] Convergence of inner-iteration GMRES methods for least squares problems (2015)
  • 著者名/発表者名: Morikuni, K. and Hayami, K.,
  • 雑誌名: SIAM Journal on Matrix Analysis and Applications 巻: 36(1) 号: 1 ページ: 225-250
  • DOI: 10.1137/130946009
  • 査読あり / 謝辞記載あり
• [雑誌論文] Improvements to the Cluster Newton method for underdetermined inverse problems (2015)
  • 著者名/発表者名: Gaudreau, P., Hayami, K., Aoki, Y., Safoui, H., and Konagaya, A.
  • 雑誌名: Journal of Computational and Applied Mathematics 巻: 283 ページ: 122-141
  • DOI: 10.1016/j.cam.2015.01.014
  • 査読あり / 謝辞記載あり
• [学会発表] Fast Solution of Nonnegative Matrix Factorization Via a Matrix-Based Active Set Method, (2018)
  • 著者名/発表者名: Zheng, N., Hayami, K., and Ono, N.,
  • 学会等名: MS95 Matrix Computations with Applications - Part I of II, 18th SIAM Conference on Parallel Processing for Scientific Computing, Waseda University, Tokyo, March 7-10, 2018.
  • 国際学会
• [学会発表] Fast solution of nonnegative matrix factorization via a matrix-based active set method, (2018)
  • 著者名/発表者名: Zheng, N., Hayami, K., and Ono, N.,
  • 学会等名: SIAM Conference on Applied Linear Algebra (SIAM-ALA18), 4-8 May 2018, Hong Kong Baptist University. http://www.math.hkbu.edu.hk/siam-ala18/
  • 国際学会
• [学会発表] Convergence of the Right Preconditioned Range Restricted MINRES for Singular Systems, (2018)
  • 著者名/発表者名: Sugihara, K., Hayami, K., and Zheng, N.,
  • 学会等名: SIAM Conference on Applied Linear Algebra (SIAM-ALA18), 4-8 May 2018, Hong Kong Baptist University. http://www.math.hkbu.edu.hk/siam-ala18/
  • 国際学会
• [学会発表] Stabilizing GMRES Using the Normal Equation Approach for Severely Ill-Conditioned Problems, (2018)
  • 著者名/発表者名: Liao, Z., Hayami, K., and Morikuni, K.,
  • 学会等名: SIAM Conference on Applied Linear Algebra (SIAM-ALA18), 4-8 May 2018, Hong Kong Baptist University. http://www.math.hkbu.edu.hk/siam-ala18/
• [学会発表] A New Matrix-Based Active Set Method for Nonnegative Matrix Factorization (2017)
  • 著者名/発表者名: Zheng, N., Hayami, K., and Ono, N.,
  • 学会等名: Minisymposium M36-2: Numerical methods for large-scale inverse problems (Part II), Applied Inverese Problems 2017, Hangzhou, China, May 29-June 2, 2017
  • 国際学会
• [学会発表] Numerical computation of tori on delay equations (2017)
  • 著者名/発表者名: Gimeno, J., Hayami, K., and Jorba, A.
  • 学会等名: 第46回数値解析シンポジウム, 講演予稿集, pp. 45-50, 2017, グリーンパーク想い出の森, 滋賀県高島市, 2017年6月28日－30日.
• [学会発表] 対称特異系に対する右前処理MINRES法とMR-2法の収束性 (2017)
  • 著者名/発表者名: 杉原光太, 速水謙, Ning Zheng
  • 学会等名: 日本応用数理学会2017年度 年会, [研究部会OS] 行列・固有値問題の解法とその応用(1), 2017年9月6-8日, 武蔵野大学 有明キャンパス, 予稿集 pp.265-266.
• [学会発表] Stabilized GMRES method using the normal equation approach for highly ill-conditioned problems, (2017)
  • 著者名/発表者名: Liao, Z. and Hayami, K.,
  • 学会等名: 日本応用数理学会「行列・固有値問題の解法とその応用」研究部会 第24回研究会 東京大学工学部, 2017年11月24日
• [学会発表] An Alternating Modulus Nonnegative Least Squares Method for Nonnegative Matrix Factorization (2016)
  • 著者名/発表者名: Zheng, N., Hayami, K.*, and Ono, N.
  • 学会等名: Conference: Numerical Linear Algebra and Applications (NL2A), Centre International de Rencontres Mathematiques (CIRM),
  • 発表場所: Luminy, France
  • 年月日: 2016-10-24
  • 国際学会 / 招待講演
• [学会発表] An Alternating Modulus Nonnegative Least Squares Method for Nonnegative Matrix Factorization (2016)
  • 著者名/発表者名: Zheng, N. and Hayami, K.
  • 学会等名: 日本応用数理学会2016年度年会 [研究部会OS] 行列・固有値問題の解法とその応用(1)
  • 発表場所: 北九州国際会議場(福岡県・北九州市)
  • 年月日: 2016-09-12
• [学会発表] Implementation of Interior-point Methods for LP Based on Krylov Subspace Iterative Solvers with Inner-Iteration Preconditioning (2016)
  • 著者名/発表者名: Cui, Y., Morikuni, K., Tsuchiya, T., and Hayami, K.
  • 学会等名: 5th IMA Conference on Numerical Linear Algebra and Optimization
  • 発表場所: Birmingham, U.K.
  • 年月日: 2016-09-07
  • 国際学会
• [学会発表] Right Preconditioned MINRES for Singular Systems (2016)
  • 著者名/発表者名: Sugihara, K., Zheng, N., and Hayami, K.
  • 学会等名: 5th IMA Conference on Numerical Linear Algebra and Optimization
  • 発表場所: Birmingham, U.K.
  • 年月日: 2016-09-07
  • 国際学会
• [学会発表] Modulus-Based Iteration Methods for Nonnegative and Box Constrained Least Square Problems (2016)
  • 著者名/発表者名: Zheng, N., Hayami, K.＊, and Yin, J.-F.
  • 学会等名: The Sixth China-Japan-Korea Joint Conference on Numerical Mathematics
  • 発表場所: Daejeon, Korea
  • 年月日: 2016-08-22
  • 国際学会 / 招待講演
• [学会発表] Implementation of Interior-point Methods for LP using Krylov Subspace Methods Preconditioned by Inner Iterations (2016)
  • 著者名/発表者名: Morikuni, K., Cui, Y., Tsuchiya, T., and Hayami, K.
  • 学会等名: Workshop on Advances in Optimization
  • 発表場所: TKP品川カンファレンスセンター(東京都・港区）
  • 年月日: 2016-08-12
  • 国際学会
• [学会発表] Implementation of Interior-Point Methods for LP using Krylov Subspace Methods Preconditioned by Inner Iterations (2016)
  • 著者名/発表者名: Morikuni, K., Cui, Y., Tsuchiya, T., and Hayami, K.
  • 学会等名: The Fifth International Conference on Continuous Optimization of the Mathematical Optimization Society (ICCOPT)
  • 発表場所: 政策研究大学院大学(東京都・港区）
  • 年月日: 2016-08-06
  • 国際学会
• [学会発表] Updating preconditioners for least squares problems (2016)
  • 著者名/発表者名: Marin, J., Mas, J.＊, and Hayami, K.
  • 学会等名: Mini Symposium: Recent Advances in the Solution of Least Squares Problems, 20th Conference of the International Linear Algebra Society (ILAS)
  • 発表場所: Leuven, Belgium
  • 年月日: 2016-07-11
  • 国際学会
• [学会発表] Modulus Iterative Methods for Least Squares Problems with Box Constraints (2016)
  • 著者名/発表者名: Zheng, N., Hayami, K., and Yin, J.-F.
  • 学会等名: Mini Symposium: Recent Advances in the Solution of Least Squares Problems, 20th Conference of the International Linear Algebra Society (ILAS)
  • 発表場所: Leuven, Belgium
  • 年月日: 2016-07-11
  • 国際学会
• [学会発表] Updating preconditioners for least squares problems (2016)
  • 著者名/発表者名: Marin, J., Mas, J., and Hayami, K.
  • 学会等名: Álgebra Lineal, Análisis Matricial y Aplicaciones (ALAMA2016)
  • 発表場所: Leon, Spain
  • 年月日: 2016-06-20
  • 国際学会
• [学会発表] Modulus Iterative Methods for Nonnegative Constrained Least Squares Problems Arising from Image Restoration (2016)
  • 著者名/発表者名: Zheng, N., Hayami, K., Yin, J.
  • 学会等名: SIAM Conference on Image Science
  • 発表場所: Albuquerque, USA
  • 年月日: 2016-05-23
  • 国際学会
• [学会発表] Implementation of interior-point method for LP based on Krylov subspace iterative solver with inner-iteration preconditioning (2016)
  • 著者名/発表者名: Cui, Y., Morikuni, K., Tsuchiya, T., and Hayami, K.,
  • 学会等名: 研究集会「最適化：モデリングとアルゴリズム」
  • 発表場所: 政策研究大学院大学
  • 年月日: 2016-03-22
• [学会発表] Modulus-Type Inner Outer Iteration Methods for Nonnegative Constrained Least Squares Problems (2016)
  • 著者名/発表者名: Yin, J., Zheng, N., Hayami, K.,
  • 学会等名: Structured Matrix Computations with Applications, Tsinghua Sanya International Mathematics Forum
  • 発表場所: Tsinghua Sanya International Mathematics Forum, Sanya, China,
  • 年月日: 2016-03-14
  • 国際学会 / 招待講演
• [学会発表] Inner-iteration Preconditioning of Normal Equations in an Interior-point Method for LP (2016)
  • 著者名/発表者名: Cui, Y., Morikuni, K., Tsuchiya, T., and Hayami, K.
  • 学会等名: 行列・固有値問題の解法とその応用セッション, 日本応用数理学会 第12回研究部会連合発表会
  • 発表場所: 神戸学院大学 ポートアイランドキャンパス
  • 年月日: 2016-03-04
• [学会発表] 半正定値系に対するEisenstat SSORによる右前処理MINRES法と，特異系への右前処理MINRES法の収束性 (2016)
  • 著者名/発表者名: 杉原光太, 速水 謙, Zheng Ning,
  • 学会等名: 行列・固有値問題の解法とその応用セッション, 日本応用数理学会 第12回研究部会連合発表会
  • 発表場所: 神戸学院大学 ポートアイランドキャンパス
  • 年月日: 2016-03-04
• [学会発表] Hybrid Two-Stage Modulus Iteration Method for Nonnegative Constrained Least Squares Problems (2016)
  • 著者名/発表者名: Zheng, N., Hayami, K., Yin, J.,
  • 学会等名: 行列・固有値問題の解法とその応用セッション, 日本応用数理学会 第12回研究部会連合発表会
  • 発表場所: 神戸学院大学 ポートアイランドキャンパス
  • 年月日: 2016-03-04
• [学会発表] Preconditioning iterative methods for solving least squares problems (2016)
  • 著者名/発表者名: Mas, J., Marin, J., and Hayami, K.
  • 学会等名: Workshop on Numerical Algebra, Algorithms, and Analysis
  • 発表場所: 国立情報学研究所
  • 年月日: 2016-01-11
  • 国際学会
• [学会発表] Enchanted by singularity (2016)
  • 著者名/発表者名: Hayami, K.
  • 学会等名: Workshop on Numerical Algebra, Algorithms, and Analysis
  • 発表場所: 国立情報学研究所
  • 年月日: 2016-01-11
  • 国際学会
• [学会発表] Right preconditioned MINRES using Eisenstat SSOR for positive semidefinite systems (2016)
  • 著者名/発表者名: Sugihara, K., Zheng, N., and Hayami, K.,
  • 学会等名: Workshop on Numerical Algebra, Algorithms, and Analysis
  • 発表場所: 国立情報学研究所
  • 年月日: 2016-01-11
  • 国際学会
• [学会発表] Nonnegative Matrix Factorization via A New Alternating Nonnegative Least Squares Method and Anderson Acceleration (2016)
  • 著者名/発表者名: Zheng, N., Hayami, K., and Ono, N.
  • 学会等名: 日本応用数理学会「行列・固有値問題の解法とその応用」研究部会 第22回研究会
  • 発表場所: 東京大学工学部(東京都・文京区）
• [学会発表] A Stabilized GMRES Method for Solving Inconsistent Underdetermined Least Squares Problems (2016)
  • 著者名/発表者名: Liao, Z., Hayami, K., and Yin, J.-F.
  • 学会等名: 日本応用数理学会「行列・固有値問題の解法とその応用」研究部会 第22回研究会
  • 発表場所: 東京大学工学部(東京都・文京区）
• [学会発表] Modulus-Type Inner Outer Iteration Methods for Nonnegative and Box Constrained Least Squares Problems and their Application to Image Restoration (2015)
  • 著者名/発表者名: Zheng, N., Hayami, K.*, and Yin, J.-F.
  • 学会等名: The 1st Asia-Pacific Workshop on Image Processing and Applications
  • 発表場所: Macquarie University , Sydney, Australia,
  • 年月日: 2015-12-14
  • 国際学会
• [学会発表] Modulus Methods for Box Constrained Least Squares Problems (2015)
  • 著者名/発表者名: Zheng, N., Hayami, K., and Yin, J.-F.,
  • 学会等名: 京都大学数理解析研究所 (RIMS) 研究集会: 現象解明に向けた数値解析学の新展開
  • 発表場所: 京都大学数理解析研究所
  • 年月日: 2015-11-18
  • 招待講演
• [学会発表] 半正定値系に対する Eisenstat SSOR による右前処理 MINRES 法 (2015)
  • 著者名/発表者名: 杉原光太, 速水謙, Ning Zheng
  • 学会等名: 京都大学数理解析研究所 (RIMS) 研究集会: 現象解明に向けた数値解析学の新展開
  • 発表場所: 京都大学数理解析研究所
  • 年月日: 2015-11-18
• [学会発表] Modulus Iterative Methods for Least Squares Problems with Box Constraints (2015)
  • 著者名/発表者名: Zheng, N., Hayami, K.*, and Yin, J.-F.,
  • 学会等名: Minisymposium MS43: The Least Squares Challenge: Modern Methods and Applications, 2015 SIAM Conference on Applied Linear Algebra,
  • 発表場所: Atlanta, Georgia
  • 年月日: 2015-10-26
  • 国際学会
• [学会発表] Right Preconditioned MINRES using Eisenstat-SSOR for Positive Semidefinite Systems (2015)
  • 著者名/発表者名: Sugihara, K., Hayami, K., and Zheng, N.,
  • 学会等名: 2015 SIAM Conference on Applied Linear Algebra
  • 発表場所: Atlanta, Georgia
  • 年月日: 2015-10-26
  • 国際学会
• [学会発表] Modulus-Type Inner Outer Iterative Methods for Nonnegative Constrained Least Squares Problems (2015)
  • 著者名/発表者名: Zheng, N., Hayami, K., and Yin, J.-F.,
  • 学会等名: 2015 SIAM Conference on Applied Linear Algebra
  • 発表場所: Atlanta, Georgia
  • 年月日: 2015-10-26
  • 国際学会
• [学会発表] Modulus Iterative Methods for Box Constrained Least Squares Problems (2015)
  • 著者名/発表者名: Zheng, N., Hayami, K., and Yin, J.-F.,
  • 学会等名: 日本応用数理学会2015年度年会
  • 発表場所: 金沢大学
  • 年月日: 2015-09-09
• [学会発表] 半正定値系に対するEisenstat SSORによる右前処理MINRES法, (2015)
  • 著者名/発表者名: 杉原 光太, 速水 謙
  • 学会等名: 日本応用数理学会2015年度年会
  • 発表場所: 金沢大学
  • 年月日: 2015-09-09
• [学会発表] Modulus Iterative Methods for Box Constrained Least Squares Problems, (2015)
  • 著者名/発表者名: Zheng, N., Hayami, K., and Yin, J.-F.,
  • 学会等名: Minisymposium on Recent Advances in the Solution of Least Squares Problems 2, The International Congress on Industrial and Applied Mathematics (ICIAM2015)
  • 発表場所: China National Convention Center, Beijing
  • 年月日: 2015-08-10
  • 国際学会
• [学会発表] Application of inner-iteration preconditioning to general least squares problems (2015)
  • 著者名/発表者名: Morikuni, K. and Hayami, K.,
  • 学会等名: Minisymposium on Recent Advances in the Solution of Least Squares Problems 2, The International Congress on Industrial and Applied Mathematics (ICIAM2015)
  • 発表場所: China National Convention Center, Beijing
  • 年月日: 2015-08-10
  • 国際学会
• [学会発表] Preconditioners for Least Squares Problems, (2015)
  • 著者名/発表者名: Mas, J., Marin, J., and Hayami, K.,
  • 学会等名: Minisymposium on Recent Advances in the Solution of Least Squares Problems 1, The International Congress on Industrial and Applied Mathematics (ICIAM2015)
  • 発表場所: China National Convention Center, Beijing
  • 年月日: 2015-08-10
  • 国際学会
• [学会発表] Modulus Iterative Method for Least Squares Problems wit Box Constraints (2015)
  • 著者名/発表者名: Zheng, N., Hayami, K., and Yin, J.-F.,
  • 学会等名: Hong Kong-Tokyo Workshop on Scientific Computing
  • 発表場所: 国立情報学研究所
  • 年月日: 2015-04-06
  • 国際学会 / 招待講演
• [図書] ギルバート・ストラング著, 日本応用数理学会監訳, 今井桂子・岡本久監訳幹事, 世界標準MIT教科書 ストラング：計算理工学, 第7章 大規模連立一次方程式一次方程式の解法 (2016)
  • 著者名/発表者名: 速水 謙
  • 総ページ数: 735
  • 出版者: 近代科学社
• [備考]
  • URL: https://researchmap.jp/KenHayami/
• [備考]
  • URL: http://research.nii.ac.jp/~hayami/index-j.htm
• [備考] 速水研究室ホームページ（ｒｅｓｅａｃｈｍａｐ）
  • URL: http://researchmap.jp/KenHayami/
• [備考] 速水研究室ホームページ
  • URL: http://research.nii.ac.jp/~hayami/index-j.htm
• [備考]
  • URL: http://researchmap.jp/KenHayami/
• [備考]
  • URL: http://research.nii.ac.jp/~hayami/index-j.htm