• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

多様な探索問題のための情報論的ベイズ最適化の構築と材料科学データでの実践

Research Project

Project/Area Number 23K21696
Project/Area Number (Other) 21H03498 (2021-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2021-2023)
Section一般
Review Section Basic Section 61030:Intelligent informatics-related
Research InstitutionNagoya Institute of Technology

Principal Investigator

烏山 昌幸  名古屋工業大学, 工学(系)研究科(研究院), 准教授 (40628640)

Co-Investigator(Kenkyū-buntansha) 田村 友幸  名古屋工業大学, 工学(系)研究科(研究院), 准教授 (90415711)
Project Period (FY) 2021-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2024: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2023: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
Fiscal Year 2021: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000)
Keywords機械学習 / ベイズ最適化 / 材料情報学 / マルチフィデリティ最適化 / 制約付き最適化 / 多目的最適化 / BiLevel最適化 / マルチタスク最適化
Outline of Research at the Start

ブラックボックス最適化問題に対する代表的な手法にベイズ最適化があり、確率モデルで未知関数を推定しながら探索を行う。ただし、実践的な状況では単純な単一関数の最適化ではなく、より複雑な状況に対し効率の良い探索アルゴリズムが求められる。本研究では特に重要な課題として、信頼性の異なる情報源にアクセスできるマルチフィデリティ最適化、異なる目的関数を同時最適化する多目的最適化、複数の探索問題間で情報を共有する複数タスク最適化に着目し情報理論による統一的な枠組みを構築する。また、提案した方法論の材料科学データへの適用を行い、実践的な有用性を実証する。

Outline of Annual Research Achievements

2023年度はベイズ最適化の情報論的なアプローチによる獲得関数の設計や,理論解析,材料や自動機械学習への応用を行なった.主要なものについて,以下で述べる.R. Ozaki, et al., AAAI2024では使用者の好みに応じた多目的最適化を行う方法を提案した.多目的最適化では必ずしも解が一意に定まらないため,パレート最適な解を列挙することが一般に行われるが,観測コストの高いブラックボックス最適化ではこの方法は現実的でないケースも多い.ここでは,使用者に対する問い合わせから好みを推定し,ベイズ最適化と組み合わせる枠組みを提案した.このとき当然,なるべく少ない回数での使用者への問い合わせで最適化を達成する必要があるが,問い合わせによって得られる情報量を評価し,最適な問い合わせを行うための指標を提案した.人間の選好を導入する最適化は近年の機械学習分野では注目度が高く,重要な成果だと考えている.S. Takeno, et al., ICML2024はサンプリングに基づくベイズ最適化のリグレット理論解析であり,情報論に基づく手法も特殊ケースとして含まれる.情報論的ベイズ最適化に対する理論解析は非常に数が少なく,独自性のある結果だと言える.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初計画から多目的最適化は含まれていたが,好みに応じて適応的に探索する枠組みは研究の進展に応じて生じた新たな発展であり,AIの最高峰学会であるAAAIでの発表まで進めることができたことは大きな進展だと考えられる.理論解析に関する貢献が生まれたことも当初予定を超える成果だと考える.材料科学への応用に加えて,自動機械学習でのベイズ最適化応用に関する研究が生まれ始めており(石川他IBIS2023など),これらは応用面での当初予定を超える進展であった.一方で,情報量の計算量改善,近似精度の評価などは今後の課題として残っている.

Strategy for Future Research Activity

最終年度であるため,論文発表を目指す.基礎方法論では,選好に基づく最適化の一般化,情報論に基づくBiLevel最適化,複数設定の統合など,応用では材料解析や自動機械学習などを学会・論文誌への投稿を目指す.選好に基づく最適化の一般化では,使用者の好みの表現方法を一般化することでより多様な状況に対応する枠組みを構築できる.このとき,それぞれの表現に対して情報論的に利得を評価し,適応的な問い合わせの枠組みを構築する.BiLevel最適化は材料探索での適用を念頭に実験評価を行い,また,BiLevel最適化を構成するlower levelの最適化問題とhigher levelの最適化問題に対して同時に計測が得られる状況,別々に計測が得られる状況など実践的な状況に応じた一般化を行うことで適用可能性を拡張する.複数設定の統合には下限に基づく情報量評価を用いて,複雑な問題設定でも簡便に評価できる指標を構築する.材料応用では物性最適化,自動機械学習応用ではハイパーパラメータ最適化に提案した枠組みを適用する.

Report

(3 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Research Products

    (31 results)

All 2024 2023 2022 2021 2020

All Journal Article (9 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 9 results,  Open Access: 6 results) Presentation (22 results) (of which Int'l Joint Research: 8 results)

  • [Journal Article] Drawing a materials map with an autoencoder for lithium ionic conductors2023

    • Author(s)
      Y. Yamaguchi, T. Atsumi, K. Kanamori, N. Tanibata, H. Takeda, M. Nakayama, M. Karasuyama, I. Takeuchi,
    • Journal Title

      Sci. Rep.

      Volume: 13 Issue: 1 Pages: 16799-16799

    • DOI

      10.1038/s41598-023-43921-1

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Optimization of Force-field Potential parameters using conditional variational autoencoder2023

    • Author(s)
      Koki Matsunoshita, Yudai Yamaguchi, Masato Hamaie, Motoki Horibe, Naoto Tanibata, Hayami Takeda, Masanobu Nakayama, Masayuki Karasuyama, Ryo Kobayashi
    • Journal Title

      Sci. Tech. Adv. Mater.:Methods

      Volume: 3 Issue: 1 Pages: 2253713-2253713

    • DOI

      10.1080/27660400.2023.2253713

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Bayesian optimisation with transfer learning for NASICON-type solid electrolytes for all-solid-state Li-metal batteries2022

    • Author(s)
      Fukuda Hiroko、Kusakawa Shunya、Nakano Koki、Tanibata Naoto、Takeda Hayami、Nakayama Masanobu、Karasuyama Masayuki、Takeuchi Ichiro、Natori Takaaki、Ono Yasuharu
    • Journal Title

      RSC Advances

      Volume: 12 Issue: 47 Pages: 30696-30703

    • DOI

      10.1039/d2ra04539g

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Machine-learning-based prediction of first-principles XANES spectra for amorphous materials2022

    • Author(s)
      H. Hirai, T. Iizawa, T. Tamura, M. Karasuyama, R. Kobayashi, and T. Hirose
    • Journal Title

      Physical Review Materials

      Volume: 6 Issue: 11 Pages: 115601-115601

    • DOI

      10.1103/physrevmaterials.6.115601

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Bayesian Optimization for Cascade-Type Multistage Processes2022

    • Author(s)
      Kusakawa Shunya、Takeno Shion、Inatsu Yu、Kutsukake Kentaro、Iwazaki Shogo、Nakano Takashi、Ujihara Toru、Karasuyama Masayuki、Takeuchi Ichiro
    • Journal Title

      Neural Computation

      Volume: 34 Issue: 12 Pages: 2408-2431

    • DOI

      10.1162/neco_a_01550

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Na superionic conductor-type LiZr<sub>2</sub>(PO<sub>4</sub>)<sub>3</sub> as a promising solid electrolyte for use in all-solid-state Li metal batteries2022

    • Author(s)
      Nakayama Masanobu、Nakano Koki、Harada Maho、Tanibata Naoto、Takeda Hayami、Noda Yusuke、Kobayashi Ryo、Karasuyama Masayuki、Takeuchi Ichiro、Kotobuki Masashi
    • Journal Title

      Chemical Communications

      Volume: 58 Issue: 67 Pages: 9328-9340

    • DOI

      10.1039/d2cc01526a

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] A Generalized Framework of Multifidelity Max-Value Entropy Search Through Joint Entropy2022

    • Author(s)
      Takeno Shion、Fukuoka Hitoshi、Tsukada Yuhki、Koyama Toshiyuki、Shiga Motoki、Takeuchi Ichiro、Karasuyama Masayuki
    • Journal Title

      Neural Computation

      Volume: 34 Issue: 10 Pages: 2145-2203

    • DOI

      10.1162/neco_a_01530

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Chemical Composition Data‐Driven Machine‐Learning Prediction for Phase Stability and Materials Properties of Inorganic Crystalline Solids2022

    • Author(s)
      Atsumi Taruto、Sato Kosei、Yamaguchi Yudai、Hamaie Masato、Yasuda Risa、Tanibata Naoto、Takeda Hayami、Nakayama Masanobu、Karasuyama Masayuki、Takeuchi Ichiro
    • Journal Title

      physica status solidi (b)

      Volume: in press Issue: 9 Pages: 2100525-2100525

    • DOI

      10.1002/pssb.202100525

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Efficient Experimental Search for Discovering a Fast Li-Ion Conductor from a Perovskite-Type LixLa(1-x)/3NbO3 (LLNO) Solid-State Electrolyte Using Bayesian Optimization2020

    • Author(s)
      Yang Zijian、Suzuki Shinya、Tanibata Naoto、Takeda Hayami、Nakayama Masanobu、Karasuyama Masayuki、Takeuchi Ichiro
    • Journal Title

      The Journal of Physical Chemistry C

      Volume: 125 Issue: 1 Pages: 152-160

    • DOI

      10.1021/acs.jpcc.0c08887

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] Posterior Sampling-Based Bayesian Optimization with Tighter Bayesian Regret Bounds2024

    • Author(s)
      S. Takeno, Y. Inatsu, M. Karasuyama and I. Takeuchi
    • Organizer
      The 40th International Conference on Machine Learning (ICML 2024)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Multi-objective Bayesian Optimization with Active Preference Learning2024

    • Author(s)
      R. Ozaki, K. Ishikawa, Y. Kanzaki, S. Takeno, I. Takeuchi and M. Karasuyama
    • Organizer
      The AAAI Conference on Artificial Intelligence (AAAI 2024)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 共有潜在空間上でのベイズ最適化による機械学習モデルとハイパーパラメータの同時選択2023

    • Author(s)
      石川和樹, 尾崎令拓, 神崎陽平, 竹内一郎, 烏山昌幸
    • Organizer
      第26回情報論的学習理論ワークショップ (IBIS2023)
    • Related Report
      2023 Annual Research Report
  • [Presentation] ガウス過程回帰に基づく結晶構造X線吸収スペクトル予測と価数比推定2023

    • Author(s)
      岩下拓未, 平井悠喜, 小林亮, 田村友幸, 烏山昌幸
    • Organizer
      情報論的学習理論と機械学習研究会(IBISML)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 最適値の情報量に基づいたマルチフィデリティベイズ最適化2023

    • Author(s)
      竹野思温, 烏山昌幸
    • Organizer
      第37回人工知能学会全国大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 変分自己符号化器を用いた探索空間の削減による高次元ベイズ最適化2023

    • Author(s)
      神崎陽平, 石川和樹, 尾崎令拓, 烏山昌幸, 稲津佑, 竹内 一郎
    • Organizer
      第37回人工知能学会全国大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Randomized Gaussian Process Upper Confidence Bound with Tight Bayesian Regret Bounds2023

    • Author(s)
      S. Takeno, Y. Inatsu and M. Karasuyama
    • Organizer
      Proceedings of The 40th International Conference on Machine Learning (ICML 2023)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Towards Practical Preferential Bayesian Optimization with Skew Gaussian Processes2023

    • Author(s)
      S. Takeno, M. Nomura and M. Karasuyama
    • Organizer
      Proceedings of The 40th International Conference on Machine Learning (ICML 2023)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 選好考慮型多目的ベイズ最適化によるユーザの好みを反映したハイパーパラメータ最適化2023

    • Author(s)
      尾崎令拓, 石川和樹, 神崎陽平, 竹野思温, 竹内一郎, 烏山昌幸
    • Organizer
      情報論的学習理論と機械学習研究会(IBISML)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 乱択GP-UCBアルゴリズムのリグレット解析2023

    • Author(s)
      竹野思温, 烏山昌幸
    • Organizer
      情報論的学習理論と機械学習研究会(IBISML)
    • Related Report
      2022 Annual Research Report
  • [Presentation] Preferential Bayesian Optimization with Hallucination Believer2022

    • Author(s)
      S. Takeno, M. Nomura, and M. Karasuyama
    • Organizer
      NeurIPS Workshop on Gaussian Processes
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] アモルファス材料における機械学習に基づいた第一原理XANESの予測2022

    • Author(s)
      平井悠喜,田村友幸,烏山昌幸,小林亮
    • Organizer
      日本セラミックス協会2022年秋季シンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] アモルファス材料における機械学習に基づいた第一原理XANESの予測2022

    • Author(s)
      平井悠喜,田村友幸,烏山昌幸,小林亮
    • Organizer
      日本物理学会2022年秋季大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] ユーザの選好推定に基づく多目的ベイズ最適化によるハイパーパラメータ最適化2022

    • Author(s)
      尾崎 令拓,高木 優介,烏山 昌幸,竹内 一郎
    • Organizer
      第36回人工知能学会全国大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Machine-Learning Based Prediction of First-Principles XANES Spectra for Amorphous Materials2022

    • Author(s)
      H. Hirai, T. Tamura, M., Karasuyama and R. Kobayashi
    • Organizer
      2022 MRS Fall meeting & Exhibit
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Sequential- and Parallel- Constrained Max-value Entropy Search via Information Lower Bound2022

    • Author(s)
      S. Takeno, T. Tamura, K. Shitara and M. Karasuyama
    • Organizer
      The 39th International Conference on Machine Learning
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Bayesian Optimization for Distributionally Robust Chance-constrained Problem2022

    • Author(s)
      Y. Inatsu, S. Takeno, M. Karasuyama and I. Takeuchi
    • Organizer
      The 39th International Conference on Machine Learning
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 情報量の下界に基づく逐次的及び並列的な制約付きベイズ最適化2021

    • Author(s)
      竹野思温, 田村友幸, 設楽一希, 烏山昌幸
    • Organizer
      情報論的学習理論と機械学習研究会(IBISML)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 情報量に基づく複数タスクの同時ベイズ最適化2021

    • Author(s)
      山田 倫太郎, 竹野思温, 烏山昌幸
    • Organizer
      情報論的学習理論と機械学習研究会(IBISML)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 情報量の下界に基づく制約付きベイズ最適化2021

    • Author(s)
      竹野思温, 田村友幸, 設楽一希,烏山昌幸
    • Organizer
      第24回情報論的学習理論ワークショップ (IBIS2021)
    • Related Report
      2021 Annual Research Report
  • [Presentation] カスケードタイプの多ステージプロセスに対するベイズ最適化2021

    • Author(s)
      草川隼也, 竹野思温, 稲津佑, 沓掛健太郎, 岩崎省吾, 中野高志, 烏山昌幸,宇治原徹, 竹内一郎
    • Organizer
      第24回情報論的学習理論ワークショップ (IBIS2021)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 分布的ロバストな機会制約付き最適化問題に対する能動学習2021

    • Author(s)
      稲津佑, 竹野思温, 烏山昌幸, 竹内一郎
    • Organizer
      情報論的学習理論と機械学習研究会(IBISML)
    • Related Report
      2021 Annual Research Report

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi