• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

汎化性能を高めた深層強化学習に基づく組合せ最適化法

研究課題

研究課題/領域番号 23K11263
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分61040:ソフトコンピューティング関連
研究機関京都工芸繊維大学

研究代表者

飯間 等  京都工芸繊維大学, 情報工学・人間科学系, 准教授 (70273547)

研究期間 (年度) 2023-04-01 – 2026-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2025年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2024年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2023年度: 2,470千円 (直接経費: 1,900千円、間接経費: 570千円)
キーワード深層強化学習 / 組合せ最適化 / 強化学習 / 機械学習
研究開始時の研究の概要

人工知能の中心技術の1つである深層強化学習を最適化に活かすことで、これまでにない新たな最適化法を開発する。最適解の発見が困難であることが知られている組合せ最適化問題に対して、深層強化学習で決定変数の最適値を学習させ、その学習が組合せ最適化問題を短時間で解くことに貢献することを示す。深層強化学習で用いるネットワークの出力を求めることを、1つの決定変数の値を決定することに対応させて学習させる。問題を短時間で解くために、学習の汎化性能を高める方法を導入する。深層強化学習に基づいて最適化を行う方法を確立させた新分野を創造・発信する。

研究実績の概要

本研究の目的は、短時間での最適解の発見が困難であることが知られている組合せ最適化問題に対して、人工知能の中心技術である深層強化学習により問題の決定変数の最適値を学習させ、その学習が組合せ最適化問題を短時間で解くことに貢献するかどうかを研究することである。このために、多くの時間を要する学習を事前に行って汎化性能を高め、問題例に対する解を短時間に求めることができるようになる最適化法を検討する。
本研究の実施計画では、オートエンコーダを用いる方法を検討することとなっており、変分オートエンコーダを用いた生成における汎化性能を評価する実験を行い、一定の性能を有していることを確認した。同様に、本研究の実施計画では、対象課題にある程度類似した課題に対して事前学習させる方法も検討することとなっており、このような事前学習法を用いた組合せ最適化法の基礎的性能を評価する実験を行い、この方法が優れていることを確認した。
近年はTransformer、敵対的生成ネットワーク、拡散モデルなどの生成AIが注目を集めている。そこで、これらの学習法に関する基礎的検討を行った。まず、Transformerを用いる強化学習法がDecision Transformerとしてすでに提案されていたことから、このDecision Transformerを用いた組合せ最適化法を提案し、組合せ最適化のベンチマーク問題としてよく知られている巡回セールスマン問題に適用した。その結果、最適に近い解を生成できることが確認された。また、敵対的生成ネットワークを用いた基礎的な生成の検討や、拡散モデルを事前学習に用いた最適化法の検討を行い、特に後者の拡散モデルを用いた最適化法が有望であることを確認した。
その他、学習でデータが少ない場合にはデータ拡張を行うべきであるので、その基礎的な検討を行った。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本研究の実施計画は、主として(1)オートエンコーダを用いる事前学習法の開発、(2)何らかの別の課題に対して事前学習を行う方法の開発、(3)一度きりの事前学習で種々の問題に対しても有効となるかどうかの分析・解析を行うことであり、研究期間は3年である。これらの研究計画のうち、研究期間1年目の令和5年度では(1)と(2)に関する研究がそれぞれ5割進展しており、(3)には着手していない。進展させたこれらの研究に関して、査読付き論文を発表したり、投稿したりしている。以上より、想定通りの進捗状況と考えられるので、おおむね順調に進展している、と評価した。

今後の研究の推進方策

オートエンコーダを用いたり、何らかの別の課題を用いたりして事前学習を行う方法の検討を引き続き進展させる。また、これらの事前学習法を、Decision Transformerを用いた組合せ最適化法にも組み込んで、短時間で問題例を解く方法を開発する。また、拡散モデルの考え方を用いた事前学習法を検討する。一般の拡散モデルは画像にノイズを加えながら学習を行うが、最適化は必ずしも画像で表現できるとは限らない。そこで、ノイズを加えることを、解を悪くすることに対応させた独創的な拡散モデルを提案する。さらに、GPTなどの大規模言語モデルを用いた事前学習法を検討する。以上の各事前学習法を組み込んだ最適化法を、ナップサック問題、巡回セールスマン問題、生産スケジューリング問題、小包配送計画問題などの各問題に適用する計算機実験を行い、各解法の性能を明らかにする。
また、上で述べた解法の中で有力なものを見出し、一度きりの事前学習で種々の問題に対しても有効となるかどうかを分析・解析する。このために、有力解法の事前学習を1か月などの長期間で実施して順序表現の特徴を十分学習させる。学習した解法を巡回セールスマン問題や生産スケジューリング問題に適用する計算機実験を行い、高レベルの汎化性能を有しているかどうかを検証する。

報告書

(1件)
  • 2023 実施状況報告書
  • 研究成果

    (5件)

すべて 2024 2023

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (4件) (うち国際学会 2件)

  • [雑誌論文] Genetic algorithm introducing the estimation of optimal objective function values in subproblems by pre-training2023

    • 著者名/発表者名
      Iima Hitoshi、Hazama Yohei
    • 雑誌名

      Neural Computing and Applications

      巻: 1

    • DOI

      10.1007/s00521-023-08676-w

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [学会発表] CT to MRI Image Translation Using CycleGAN: A Deep Learning Approach for Cross-Modality Medical Imaging2024

    • 著者名/発表者名
      Jha Anamika、Iima Hitoshi
    • 学会等名
      International Conference on Agents and Artificial Intelligence
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] 条件付き変分オートエンコーダを用いたビデオゲームのレベル生成2024

    • 著者名/発表者名
      吉貞 心,飯間 等
    • 学会等名
      情報処理学会第86回全国大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Decision Transformerの巡回セールスマン問題への適用2023

    • 著者名/発表者名
      中村祥幸,飯間 等
    • 学会等名
      計測自動制御学会システム・情報部門学術講演会2023
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Accelerated Text Data Augmentation Using a Paraphrase Generation Model with Round-Trip Translation as a Supervisor2023

    • 著者名/発表者名
      Tanaka Shintaro、Iima Hitoshi
    • 学会等名
      International Conference on Machine Learning and Applications
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会

URL: 

公開日: 2023-04-13   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi