情報爆発時代のロバストな自動チューニングシステムに向けた数理的基盤技術の研究

• Project Area: Cyber Infrastructure for the Information-explosion Era
• Project/Area Number: 21013014
• Research Category: Grant-in-Aid for Scientific Research on Priority Areas
• Allocation Type: Single-year Grants
• Review Section: Science and Engineering
• Research Institution: The University of Tokyo
• Principal Investigator: 須田 礼仁 東京大学, 大学院・情報工学系研究科, 教授 (40251392)
• Project Period (FY): 2009 – 2010
• Project Status: Completed (Fiscal Year 2010)
• Budget Amount: ¥6,200,000 (Direct Cost: ¥6,200,000); Fiscal Year 2010: ¥3,100,000 (Direct Cost: ¥3,100,000); Fiscal Year 2009: ¥3,100,000 (Direct Cost: ¥3,100,000)
• Keywords: 自動チューニング / ハイパフォーマンスコンピューティング / 数理工学 / ベイズ統計 / 実験計画 / 並列処理 / ランダマイズドアルゴリズム / 逐次統計 / 逐次実験計画 / Bayes統計 / 確率的最適化 / 情報爆発

Research Abstract

情報爆発時代のソフトウェアは、質・量とも爆発的に大きくなる情報を有効に活用するため、それとおなじくらい爆発的に拡大する計算・通信・記憶資源の多様性に、柔軟かつロバストに適応する能力を備えなければならない。このような適応能力(以下総じて「自動チューニング機能」と呼ぶ)は、一般に情報収集→推定→最適化→実行制御という流れで実現される。本研究では自動チューニングの数理の普遍的構造を明らかにし、ロバストな自動チューニング機構の数理的基盤を構築することを目的とする。連携研究者として、東京大学大学院情報理工学系研究科教授竹村彰通、同室田一雄、神戸大学大学院システム情報学研究科教授山本有作、株式会社日立製作所中央研究所主任研究員直野健、電気通信大学情報理工学部准教授今村俊幸、東京大学情報基盤センター特任准教授片桐孝洋を迎えて研究を推進した。
平成22年度では、オフライン自動チューニング、並列自動チューニングの数理手法を開発するとともに、これまでの知見を総合し、自動チューニング数理モデル化とソフトウェア構築の方法論を4DACとしてまとめ、ATMathCoreLibとして公開した。本科研費主催の国際ワークショップiWAPTは5回目を迎え、米国バークレーで開かれた。これまでの研究成果、国際研究協力の成果をまとめて英文書籍Software Automatic Tuning : From Concepts to the State-of-the-Art Resultsとし、Springerから出版した。日本応用数理学会の会誌である「応用数理」の2010年9月号と12月号が「自動チューニング」の特集となり、代表者、連携研究者も多く執筆した。これらにより、自動チューニング技術を国内外に発信し、理解を広めた。

Research Products

• [Journal Article] New procedures for testing whether stock price processes are martingales (2011)
  • Author(s): Kei Takeuchi, Akimichi Takemura, Masayuki Kumon
  • Journal Title: Computational Economics Volume: 37 Pages: 67-88
  • Peer Reviewed
• [Journal Article] Sequential optimizing strategy in multi-dimensional bounded forecasting games (2011)
  • Author(s): Masayuki Kumon, Akimichi Takemura, Kei Takeuchi
  • Journal Title: Stochastic Processes and their Applications Volume: 121 Pages: 155-183
  • Peer Reviewed
• [Journal Article] A Baecklund Transformation Between Two Integrable Discrete Hungry Systems (2011)
  • Author(s): Akiko Fukuda, Yusaku Yamamoto, Masashi Iwasaki, Emiko Ishiwata, Yoshimasa Nakamura
  • Journal Title: Physics Letters A Volume: 375 Pages: 303-308
  • Peer Reviewed
• [Journal Article] High-Performance Quantum Simulation for Coupled Josephson Junctions on the Earth Simulator : A challenge to Schroedinger Equation on 256^4 Grids (2010)
  • Author(s): T.Imamura, T.Kano, S.Yamada, M.Okumura, M.Machida
  • Journal Title: International Journal of High Performance Computing Volume: 24 Pages: 319-334
  • Peer Reviewed
• [Journal Article] Multistep Bayesian strategy in coin-tossing games and its application to asset trading games in continuous time (2010)
  • Author(s): Kei Takeuchi, Masayuki Kumon, Akimichi Takemura
  • Journal Title: Stochastic Analysis and Applications Volume: 28 Pages: 842-861
  • Peer Reviewed
• [Journal Article] Error controlling algorithm for simultaneous block-diagonalization and its application to independent component analysis (2010)
  • Author(s): T.Maehara, K.Murota
  • Journal Title: JSIAM Letters Volume: 2 Pages: 131-134
  • Peer Reviewed
• [Journal Article] A numerical algorithm for block-diagonal decomposition of matrix $*$-algebras with general irreducible components (2010)
  • Author(s): T.Maehara, K.Murota
  • Journal Title: Japan Journal of Industrial and Applied Mathematics Volume: 27 Pages: 263-293
  • Peer Reviewed
• [Journal Article] A numerical algorithm for block-diagonal decomposition of matrix $*$-algebras with application to semidefinite programming (2010)
  • Author(s): K.Murota, Y.Kanno, M.Kojima, S.Kojima
  • Journal Title: Japan Journal of Industrial and Applied Mathematics Volume: 27 Pages: 125-160
  • Peer Reviewed
• [Journal Article] 密正方行列特異値分解における並列I-SVD法の特性を用いた後処理の高速化 (2010)
  • Author(s): 豊川博己, 山本有作, 木村欣司, 高田雅美, 中村佳正
  • Journal Title: 情報処理学会論文誌コンピューティングシステム(ACS) Volume: 30 Pages: 30-38
  • Peer Reviewed
• [Journal Article] Differential qd Algorithm for Totally Nonnegative Hessenberg Matrices : Introduction of Origin Shifts and Relationship with the Discrete Hungry Lotka-Volterra System (2010)
  • Author(s): Yusaku Yamamoto, Takeshi Fukaya
  • Journal Title: JSIAM Letters Volume: 2 Pages: 69-72
  • Peer Reviewed
• [Journal Article] Four-point Correlation Function of a Passive Scalar Field in Rapidly Fluctuating Turbulence : Numerical Analysis of an Exact Closure Equation (2010)
  • Author(s): Yoshinori Mizuno, Kouhei Ohi, Tomohiro Sogabe, Yusaku Yamamoto, Yukio Kaneda
  • Journal Title: Phys.Rev.E Volume: 82 Pages: 36316-36324
  • Peer Reviewed
• [Journal Article] 自動チューニングのための数理基盤技術 (2010)
  • Author(s): 須田礼仁
  • Journal Title: 応用数理 Volume: 20 Pages: 5-14
• [Journal Article] 階層的な性能モデルに基づく行列計算の自動チューニング (2010)
  • Author(s): 山本有作, 深谷猛
  • Journal Title: 応用数理 Volume: 20 Pages: 15-25
• [Journal Article] 超並列環境向きの固有値計算アルゴリズムと自動チューニング (2010)
  • Author(s): 今村俊幸
  • Journal Title: 応用数理 Volume: 20 Pages: 26-36
• [Journal Article] Perturbation method for determining the group of invariance of hierarchical models (2009)
  • Author(s): Tomonari Sei, Satoshi Aoki, Akimichi Takemura
  • Journal Title: Advances in Applied Mathematics 43 Pages: 375-389
  • Peer Reviewed
• [Journal Article] Some recent topics from computational algebraic statistics (2009)
  • Author(s): Akimichi Takemura
  • Journal Title: Journal of the Japan Statistical Society, Series J 39 Pages: 137-159
  • Peer Reviewed
• [Journal Article] 多重連結領域の固有値問題に対する Sakurai-Sugiura 法の拡張 (2009)
  • Author(s): 宮田考史, 曽我部知広, 山本有作, 張紹良
  • Journal Title: 日本応用数理学会論文誌 19 Pages: 537-550
  • Peer Reviewed
• [Journal Article] 行列の指数関数に基づく連立線形常微分方程式の大粒度並列解法とその評価 (2009)
  • Author(s): 則竹渚宇, 今倉暁, 山本有作, 張紹良
  • Journal Title: 日本応用数理学会論文誌 19 Pages: 293-312
  • Peer Reviewed
• [Journal Article] Differential qd Algorithm for Totally Nonnegative Band Matrices : Convergence Properties and Error Analysis (2009)
  • Author(s): Yusaku Yamamoto, Takeshi Fukaya
  • Journal Title: JSIAM Letters 1 Pages: 56-59
  • Peer Reviewed
• [Journal Article] 正方行列向け特異値分解のCUDAによる高速化 (2009)
  • Author(s): 深谷猛, 山本有作, 畝山多加志, 中村佳正
  • Journal Title: 情報処理学会論文誌ACS 2 Pages: 98-109
  • Peer Reviewed
• [Presentation] Performance Evaluation for a Dense Eigenvalue Solver for the Next-generation Petascale System (2011)
  • Author(s): T.Imamura, H.Pham, S.Yamada, M.Machida
  • Organizer: SIAM CSE2011
  • Place of Presentation: アメリカ・リノ
  • Year and Date: 2011-03-01
• [Presentation] eigen_sg:マルチコア+GPGPU環境における固有値ソルバ開発 (2011)
  • Author(s): 今村俊幸, 山田進, 町田昌彦
  • Organizer: 2011年ハイパフォーマンスコンピューティングと計算科学シンポジウム, HPCS2011
  • Place of Presentation: 筑波市(ポスター発表)
  • Year and Date: 2011-01-18
• [Presentation] Acceleration of Hessenberg Reduction for Nonsymmetric Eigenvalue Problems Using GPU (2010)
  • Author(s): Jun-ichi Muramatsu, Shao-Liang Zhang, Yusaku Yamamoto
  • Organizer: 2nd International Workshop on Parallel and Distributed Algorithms and Applications (PDAA)
  • Place of Presentation: 広島市
  • Year and Date: 2010-11-17
• [Presentation] 大規模固有値問題と高性能計算 (2010)
  • Author(s): 山本有作
  • Organizer: 第22回RAMPシンポジウム
  • Place of Presentation: 名古屋市
  • Year and Date: 2010-10-28
• [Presentation] 自動チューニングの数理モデルと最適化 (2010)
  • Author(s): 須田礼仁
  • Organizer: 第22回RAMPシンポジウム
  • Place of Presentation: 名古屋市
  • Year and Date: 2010-10-28
• [Presentation] Novel approach in a divide and conquer algorithm for eigenvalue problems of real symmetric band matrices (2010)
  • Author(s): H.Pham, T.Imamura, S.Yamada, M.Machida
  • Organizer: Joint International Conference on Supercomputing in Nuclear Applications and Monte Carlo 2010 (SNA+MC2010)
  • Place of Presentation: 東京
  • Year and Date: 2010-10-19
• [Presentation] Development of a high performance eigensolver on the peta-scale next generation supercomputer system (2010)
  • Author(s): T.Imamura, S.Yamada, M.Machida
  • Organizer: Joint International Conference on Supercomputing in Nuclear Applications and Monte Carlo 2010 (SNA+MC2010)
  • Place of Presentation: 東京
  • Year and Date: 2010-10-19
• [Presentation] Performance Evaluation of the Gram-Schmidt Orthogonalization with Numerical Policy Interface on Heterogeneous Platforms (2010)
  • Author(s): Ken Naono, Takao Sakurai
  • Organizer: Joint International Conference on Supercomputing in Nuclear Applications and Monte Carlo 2010 (SNA+MC2010)
  • Place of Presentation: 東京
  • Year and Date: 2010-10-19
• [Presentation] 疎行列反復解法ライブラリにおける自動チューニング機能の開発 (2010)
  • Author(s): 片桐孝洋
  • Organizer: 京都大学数理解析研究所、研究集会、科学技術計算アルゴリズムの数理的基盤と展開
  • Place of Presentation: 京都市(招待講演)
  • Year and Date: 2010-10-19
• [Presentation] 自動チューニングのための実験計画におけるランダマイズの効用 (2010)
  • Author(s): 須田礼仁
  • Organizer: 日本応用数理学会2010年度年会
  • Place of Presentation: 東京
  • Year and Date: 2010-09-09
• [Presentation] 並列ソフトウェアのオンライン自動チューニングのためのBayes的手法 (2010)
  • Author(s): 須田礼仁
  • Organizer: 情報処理学会ハイパフォーマンスコンピューティング研究会第126回研究会
  • Place of Presentation: 金沢市
  • Year and Date: 2010-08-05
• [Presentation] 密行列計算アルゴリズムに対するブロック分割法の最適化と性能評価 (2010)
  • Author(s): 深谷猛, 山本有作, 張紹良
  • Organizer: 情報処理学会ハイパフォーマンスコンピューティング研究会第126回研究会
  • Place of Presentation: 金沢市
  • Year and Date: 2010-08-04
• [Presentation] 非対称固有値計算におけるヘッセンベルグ化のGPUによる高速化 (2010)
  • Author(s): 村松淳一, 山本有作, 張紹良
  • Organizer: 情報処理学会ハイパフォーマンスコンピューティング硬究会第126回研究会
  • Place of Presentation: 金沢市
  • Year and Date: 2010-08-03
• [Presentation] Online Automatic Tuning of Parallel Sparse Matrix Computations (2010)
  • Author(s): Reiji Suda
  • Organizer: 6th International Workshop on Parallel Matrix Algorithms and Applications (PMAA 2010)
  • Place of Presentation: スイス・バーゼル
  • Year and Date: 2010-07-02
• [Presentation] Methods of Parallel Experimental Design of Online Automatic Tuning and their Application to Parallel Sparse Matrix Data Structure (2010)
  • Author(s): Reiji Suda
  • Organizer: Fifth International Workshop on Automatic Performance Tuning (iWAPT 2010)
  • Place of Presentation: アメリカ・バークレー
  • Year and Date: 2010-06-22
• [Presentation] Challenges of Run-time Auto-tuning for Sparse Iterative Solvers (2010)
  • Author(s): Takahiro Katagiri
  • Organizer: Fifth International Workshop on Automatic Performance Tuning (iWAPT2010)
  • Place of Presentation: アメリカ・バークレー
  • Year and Date: 2010-06-22
• [Presentation] オフライン自動チューニングの数理手法 (2010)
  • Author(s): 須田礼仁
  • Organizer: 情報処理学会ハイパフォーマンスコンピューティング硬究会第125回研究会
  • Place of Presentation: 東京
  • Year and Date: 2010-06-17
• [Presentation] 並列試行による並列処理のためのオンライン自動チューニング (2010)
  • Author(s): 須田礼仁
  • Organizer: 第15回計算工学講演会
  • Place of Presentation: 福岡市
  • Year and Date: 2010-05-26
• [Presentation] ペタスケール環境での高並列固有値ソルバの開発 (2010)
  • Author(s): 今村俊幸
  • Organizer: 第15回計算工学講演会
  • Place of Presentation: 福岡市
  • Year and Date: 2010-05-26
• [Presentation] Performance Modeling of Multishift QR Algorithms for the Parallel Solution of Symmetric Tridiagonal Eigenvalue Problems (2010)
  • Author(s): Takafumi Miyata, Yusaku Yamamoto, Shao-Liang Zhang
  • Organizer: Algorithms and Architectures for Parallel Processing (ICA3PP 2010)
  • Place of Presentation: 韓国・プサン
  • Year and Date: 2010-05-23
• [Presentation] ペタフロップス環境における小規模行列用対称密行列固有値ソルバに向けて -逆変換の改良- (2010)
  • Author(s): 片桐孝洋
  • Organizer: 2010年ハイパフォーマンスコンピューティングと計算科学論文集HPCS2010
  • Place of Presentation: 工学院大学
  • Year and Date: 2010-01-14
• [Presentation] ソフトウェア自動チューニング:パソコンからスパコンまでの先進最適化技術 ～数値計算ライブラリを中心に～ (2009)
  • Author(s): 片桐孝洋
  • Organizer: 情報処理学会東北支部, 第350回研究講演会
  • Place of Presentation: 秋田県立大学
  • Year and Date: 2009-12-18
• [Presentation] Accurate Measurements and Precise Modeling of Power Dissipation of CUDA Kernels toward Power Optimized High Performance CPU-GPU Computing (2009)
  • Author(s): Reiji Suda, Da Qi Ren
  • Organizer: Workshop on Ultra Performance and Dependable Acceleration Systems(UPDAS)
  • Place of Presentation: 広島大学
  • Year and Date: 2009-12-11
• [Presentation] High performance eigenvalue solver in the peta-scale computingera (2009)
  • Author(s): 今村俊幸
  • Organizer: 2nd Workshop on Computer-Assisted Science
  • Place of Presentation: 大阪大学
  • Year and Date: 2009-11-06
• [Presentation] Auto Tuning Method for Deciding Block Size Parameters in Dynamically Load-balanced BLAS (2009)
  • Author(s): Yuta Saga, Reiji Suda
  • Organizer: 4th international Workshop on Automatic Performance Tuning(iWAPT 2009)
  • Place of Presentation: 東京大学
  • Year and Date: 2009-10-02
• [Presentation] ペタスケール環境における固有値ソルバについて (2009)
  • Author(s): 今村俊幸, 山田進, 町田昌彦
  • Organizer: 日本応用数理学会2009年度年会
  • Place of Presentation: 大阪大学
  • Year and Date: 2009-09-28
• [Presentation] 並列計算機におけるソフトウェア自動チューニングのための数理モデル (2009)
  • Author(s): 須田礼仁
  • Organizer: 日本応用数理学会2009年度年会
  • Place of Presentation: 大阪大学
  • Year and Date: 2009-09-28
• [Presentation] マルチコア・超並列計算機時代の自動チューニング機能付き疎行列反復解法ソルバ (2009)
  • Author(s): 片桐孝洋, 黒田久泰
  • Organizer: 日本応用数理学会2009年度年会
  • Place of Presentation: 大阪大学
  • Year and Date: 2009-09-28
• [Presentation] Parallel minimax tree searching on GPU (2009)
  • Author(s): Kamil Rocki
  • Organizer: PPAM 2009 Eighth International Conference on Parallel Processing and Applied Mathematics
  • Place of Presentation: ウォクロウ(ポーランド)
  • Year and Date: 2009-09-15
• [Presentation] Narrow-band reduction approach of a DRSM eigensolver on a multicore-based cluster system (2009)
  • Author(s): 今村俊幸, 山田進, 町田昌彦
  • Organizer: International Parallel Computing Conference 2009(ParCo2009)
  • Place of Presentation: アムステルダム大学 オランダ
  • Year and Date: 2009-09-03
• [Presentation] Xabclib : A Sparse Iterative Solver with a Generalized Auto-tuning Interface, and Overview of Auto-tuning Studies in Japan (2009)
  • Author(s): 片桐孝洋
  • Organizer: CScADS Summer Workshops, Workshop on Libraries and Autotuning for Petascale Applications
  • Place of Presentation: タホ(米国)
  • Year and Date: 2009-08-11
• [Presentation] マルチコア環境における密および疎行列ソルバの自動チューニング機構の評価 (2009)
  • Author(s): 片桐孝洋, 黒田久泰
  • Organizer: 日本応用数理学会「行列・固有値問題の解法とその応用」研究部会 SWoPP 2009
  • Place of Presentation: フォレスト仙台
  • Year and Date: 2009-08-06
• [Presentation] 10万超コアを駆使する固有値ソルバについての検討 (2009)
  • Author(s): 今村俊幸
  • Organizer: 情報処理学会研究報告 2009-HPC-121
  • Place of Presentation: フォレスト仙台
  • Year and Date: 2009-08-05
• [Presentation] ブロックハウスホルダーQR分解の並列計算における自動チューニング手法の検討 (2009)
  • Author(s): 深谷猛, 山本有作, 張紹良
  • Organizer: 情報処理学会研究報告, HPC-121-18
  • Place of Presentation: フォレスト仙台
  • Year and Date: 2009-08-05
• [Presentation] 線形方程式求解アルゴリズムの実行データに対するクラスタリング技術の一適用 (2009)
  • Author(s): 小谷和正, 須田礼仁
  • Organizer: 情報処理学会研究報告 2009-HPC-121
  • Place of Presentation: フォレスト仙台
  • Year and Date: 2009-08-04
• [Presentation] ソフトウェア自動チューニング技術の最新動向 ～マルチコア, ヘテロジニアス, 10万並列な環境に向けた新しい最適化技術～ (2009)
  • Author(s): 片桐孝洋
  • Organizer: 第9回ANS研究会
  • Place of Presentation: 京都大学
  • Year and Date: 2009-06-26
• [Presentation] ソフトウェア自動チューニング入門 ～ペタフロップス, 10万並列を達成するための実装方式から数値アルゴリズムの自動最適化技術～ (2009)
  • Author(s): 片桐孝洋
  • Organizer: 第38回数値解析シンポジウム
  • Place of Presentation: 熱川ハイツ
  • Year and Date: 2009-06-15
• [Presentation] CUDAによる編集距離計算の高速化 (2009)
  • Author(s): 富山歩
  • Organizer: 情報処理学会 先進的計算基盤システムシンポジウムSACSIS 2009
  • Place of Presentation: 広島国際会議場
  • Year and Date: 2009-05-28
• [Presentation] Simultaneous singular value decomposition (2009)
  • Author(s): Takanori Maehara, Kazuo Murota
  • Organizer: The 6th Japanese-Hungarian Symposium on Discrete Mathematics and Its Applications
  • Place of Presentation: ブダペスト・バンガリー
  • Year and Date: 2009-05-16
• [Presentation] 自動チューニングのための Bayes 統計に基づく最適化手法 (2009)
  • Author(s): 須田礼仁
  • Organizer: 第14回計算工学講演会
  • Place of Presentation: 東京大学
  • Year and Date: 2009-05-13
• [Presentation] AMG法の自動パラメタ選択手法について (2009)
  • Author(s): 藤井昭宏, 小柳義夫
  • Organizer: 第14回計算工学講演会
  • Place of Presentation: 東京大学
  • Year and Date: 2009-05-13
• [Presentation] ペタスケール計算を目指したMRRR法を用いた固有値ソルバの開発 (2009)
  • Author(s): 片桐孝洋
  • Organizer: 第14回日本計算工学会講演会
  • Place of Presentation: 東京大学
  • Year and Date: 2009-05-13
• [Presentation] マルチコア環境における自動チューニング機能付き疎行列反復解法ライブラリ (2009)
  • Author(s): 片桐孝洋, 黒田久泰
  • Organizer: 第14回日本計算工学会講演会
  • Place of Presentation: 東京大学
  • Year and Date: 2009-05-13
• [Presentation] Automatic parameter tuning technique of algebraic multigrid method (2009)
  • Author(s): 藤井昭宏, 小柳義夫
  • Organizer: 15th International Conference on Finite Elements in Flow Problems(FEF09)
  • Place of Presentation: 中央大学
  • Year and Date: 2009-04-01
• [Book] Software Automatic Tuning : From Concepts to the State-of-the-ArtResults (2010)
  • Author(s): Ken Naono, Keita Teranishi, John Cavazos, Reiji Suda
  • Total Pages: 377
  • Publisher: Springer