High-Performance Optimization Algorithm based on Machine Learning and Search

• Project/Area Number: 23K20387
• Project/Area Number (Other): 20H04251 (2020-2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2020-2023)
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Kyushu University
• Principal Investigator: 美添 一樹 九州大学, 情報基盤研究開発センター, 教授 (80449115)
• Project Period (FY): 2020-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥17,680,000 (Direct Cost: ¥13,600,000、Indirect Cost: ¥4,080,000); Fiscal Year 2024: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000); Fiscal Year 2023: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000); Fiscal Year 2022: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000); Fiscal Year 2021: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000); Fiscal Year 2020: ¥8,190,000 (Direct Cost: ¥6,300,000、Indirect Cost: ¥1,890,000)
• Keywords: 探索アルゴリズム / 機械学習 / 化合物探索 / データマイニング / 並列計算 / グラフ探索 / 並列アルゴリズム / 組合せ最適化 / 並列化 / 探索 / 最適化 / 高性能計算

Outline of Research at the Start

機械学習手法の発展によって従来数値で表せなかった様々なデータが計算機で効率良く処理できるようになっている。進歩した機械学習モデルを用いて最適化や探索を行うことによって、さらに多くの分野で実問題を解くことが可能となりつつある。機械学習手法単独での研究は盛んに行われているが、探索アルゴリズムと組み合わせた場合の研究は世界的に不足している。本研究では機械学習と探索アルゴリズムを組み合わせて、汎用性が高く高性能な最適化手法を開発することにより、多くの実問題に適用可能なソルバーの実現へ繋げることを目指す。

Outline of Annual Research Achievements

引き続き、探索と機械学習による最適化アルゴリズムの研究に取り組んでいる。今年度では特に、長時間の計算を必要とする評価指標（量子計算シミュレーション等）を用いた場合に、大規模並列計算機（スーパーコンピュータ）上で効率良く動作するアルゴリズムの開発に取り組んだ。
昨年度までの成果として、グラフ探索アルゴリズムと機械学習を用いた化合物探索のためのツール ChemTSv2 を公開している。この基本となるアルゴリズムは、数ミリ秒で計算可能な軽量な評価関数から、数分以上の計算時間がかかる重い評価関数まで対応することを目標として設計されていた。軽量な物の代表例は機械学習モデル、重い物の代表例は計算化学シミュレーション等である。しかし重い評価関数を使った場合に実行効率が落ちることが観測されたため、グラフ探索の並列化に関する部分のアルゴリズムに修正を加え、効率の改良を試みた。既に実装は終了し性能はある程度確認されており、今後論文発表を行う予定である。
この点の改良は、多彩な評価関数を用いて最適化を行う場合、化合物以外の問題を視野に入れる場合に貢献する。特に、GPUを多く必要とする大規模言語モデル (LLM) などの生成AIを評価指標として用いる探索手法は多くの研究者の興味を集めているが、LLMを探索に用いることはそれほど容易ではなく、我々の研究が重要な貢献をすると期待できる。
現在公開しているツールは化合物探索専用の実装となっているが、今年度の研究成果を元に今後さらに応用範囲を広げることを計画している。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

全5年計画のうち4年目まで終了した段階だが、探索アルゴリズムの理論とスーパーコンピュータを用いた並列アルゴリズムを軸に機械学習やシミュレータを組み合わせ、実際に化合物探索で有用な成果を得ている。既に実問題で有望な成果を得ていることで計画の主目的は、少なくとも一つの分野では達成されたと言える。
その成果として開発したソフトウェアは、現在は化合物探索専用の実装となっているが、他の分野に適用することは容易であり、今後は多くの分野に適用することが有望である。機械学習と探索の組み合わせは、生成AIの発展を背景にますます有用性が増している。しかし機械学習側の進歩と比較して、それと探索を併用する際の研究は大きく不足している。申請者らの得ているアルゴリズムの理論面、実装面の知見は、今後多くの分野に貢献すると期待できる。

Strategy for Future Research Activity

上述の様に、現在は機械学習やシミュレータとグラフ探索を組み合わせたツールを、スーパーコンピュータ上で大規模並列実行を行うアルゴリズムを開発しており、化合物探索では既に新規化合物の発見に成功するなど有望な成果を得ている。今後更に性能を改良し、汎用性を増すことで多くの分野に貢献することを計画している。
具体的には、動作環境や実行時間が異なる多くの評価指標を用いて効率良く動作するアルゴリズムの確率が上げられる。現在でも特定のいくつかの組み合わせでは良好な性能が実証されているが、今後は成果指標としてさらに多彩な計算が求められる。たとえばCPUで動作する軽量な評価関数から、長時間の実行を必要とするシミュレーション、さらに高性能なGPU上での動作が必要とされる機械学習モデルまで、全てを併用しての探索手法の実現が重要となる。今年度の成果を足がかりとしてこの目標に取り組む。現在目標としている適用分野は複数あるが、短期的な目標はさらに幅広い化合物の探索や、自然言語処理に関係した分野への適用などが主である。
さらに、残る研究期間で応用範囲の拡大に加えて、探索との組み合わせに適した機械学習モデルの開発、探索の結果をフィードバックした機械学習モデルの改良、軽量・不正確な評価関数と重く・正確な評価関数が混在した状況での探索アルゴリズムの開発などに取り組む計画である。

Research Products

• [Int'l Joint Research] University of British Columbia(カナダ)
• [Journal Article] ChemTSv2: Functional molecular design using de novo molecule generator (2023)
  • Author(s): Ishida Shoichi、Aasawat Tanuj、Sumita Masato、Katouda Michio、Yoshizawa Tatsuya、Yoshizoe Kazuki、Tsuda Koji、Terayama Kei
  • Journal Title: WIREs Computational Molecular Science Volume: 13 Issue: 6
  • DOI: 10.1002/wcms.1680
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] De novo creation of a naked eye?detectable fluorescent molecule based on quantum chemical computation and machine learning (2022)
  • Author(s): Sumita Masato、Terayama Kei、Suzuki Naoya、Ishihara Shinsuke、Tamura Ryo、Chahal Mandeep K.、Payne Daniel T.、Yoshizoe Kazuki、Tsuda Koji
  • Journal Title: Science Advances Volume: 8 Issue: 10
  • DOI: 10.1126/sciadv.abj3906
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Meta Approach to Data Augmentation Optimization (2022)
  • Author(s): Ryuichiro Hataya, Jan Zdenek, Kazuki Yoshizoe, Hideki Nakayama
  • Journal Title: 2022 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) Volume: 1 Pages: 3535-3544
  • Peer Reviewed / Open Access
• [Journal Article] NMR-TS: de novo molecule identification from NMR spectra (2020)
  • Author(s): Zhang Jinzhe、Terayama Kei、Sumita Masato、Yoshizoe Kazuki、Ito Kengo、Kikuchi Jun、Tsuda Koji
  • Journal Title: Science and Technology of Advanced Materials Volume: 21 Issue: 1 Pages: 552-561
  • DOI: 10.1080/14686996.2020.1793382
  • Peer Reviewed / Open Access
• [Journal Article] CompRet: a comprehensive recommendation framework for chemical synthesis planning with algorithmic enumeration (2020)
  • Author(s): Ryosuke Shibukawa, Shoichi Ishida, Kazuki Yoshizoe, Kunihiro Wasa, Kiyosei Takasu, Yasushi Okuno, Kei Terayama, Koji Tsuda
  • Journal Title: Journal of Cheminformatics Volume: 12 Issue: 1
  • DOI: 10.1186/s13321-020-00452-5
  • Peer Reviewed / Open Access
• [Journal Article] Faster AutoAugment: Learning Augmentation Strategies using Backpropagation (2020)
  • Author(s): Ryuichiro Hataya, Zdenek Jan, Kazuki Yoshizoe, Hideki Nakayama
  • Journal Title: Computer Vision - ECCV 2020 Volume: LNCS 12370 Pages: 1-16
  • DOI: 10.1007/978-3-030-58595-2_1
  • NAID: 130007857024
  • ISBN: 9783030585945, 9783030585952
  • Peer Reviewed / Open Access
• [Journal Article] On the possibility of short-term traffic prediction during disaster with machine learning approaches: An exploratory analysis (2020)
  • Author(s): Chikaraishi Makoto、Garg Prateek、Varghese Varun、Yoshizoe Kazuki、Urata Junji、Shiomi Yasuhiro、Watanabe Ryuki
  • Journal Title: Transport Policy Volume: 98 Pages: 91-104
  • DOI: 10.1016/j.tranpol.2020.05.023
  • Peer Reviewed
• [Journal Article] Machine learning to reveal hidden risk combinations for the trajectory of posttraumatic stress disorder symptoms (2020)
  • Author(s): Takahashi Yuta、Yoshizoe Kazuki、Ueki Masao、Tamiya Gen、Zhiqian Yu、Utsumi Yusuke、Sakuma Atsushi、Tsuda Koji、Hozawa Atsushi、Tsuji Ichiro、Tomita Hiroaki
  • Journal Title: Scientific Reports Volume: 10 Issue: 1
  • DOI: 10.1038/s41598-020-78966-z
  • Peer Reviewed / Open Access
• [Journal Article] HyGN: Hybrid Graph Engine for NUMA (2020)
  • Author(s): Aasawat Tanuj、Reza Tahsin、Yoshizoe Kazuki、Ripeanu Matei
  • Journal Title: 2020 IEEE International Conference on Big Data Volume: - Pages: 383-390
  • DOI: 10.1109/bigdata50022.2020.9378430
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Presentation] Practical Massively Parallel Monte-Carlo Tree Search Applied to Molecular Design. (2021)
  • Author(s): Xiufeng Yang, Tanuj Kr Aasawat, Kazuki Yoshizoe
  • Organizer: 9th International Conference on Learning Representations (ICLR)
  • Int'l Joint Research
• [Presentation] Graph Energy-based Model for Molecular Graph Generation. (2021)
  • Author(s): Ryuichiro Hataya, Hideki Nakayama, and Kazuki Yoshizoe
  • Organizer: EBM Workshop at ICLR 2021
  • Int'l Joint Research
• [Remarks] ChemTSv2
  • URL: https://github.com/molecule-generator-collection/ChemTSv2