2023 Fiscal Year Research-status Report
汎化性能を高めた深層強化学習に基づく組合せ最適化法
| Project/Area Number |
23K11263
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
飯間 等 京都工芸繊維大学, 情報工学・人間科学系, 准教授 (70273547)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 深層強化学習 / 組合せ最適化 / 強化学習 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、短時間での最適解の発見が困難であることが知られている組合せ最適化問題に対して、人工知能の中心技術である深層強化学習により問題の決定変数の最適値を学習させ、その学習が組合せ最適化問題を短時間で解くことに貢献するかどうかを研究することである。このために、多くの時間を要する学習を事前に行って汎化性能を高め、問題例に対する解を短時間に求めることができるようになる最適化法を検討する。
本研究の実施計画では、オートエンコーダを用いる方法を検討することとなっており、変分オートエンコーダを用いた生成における汎化性能を評価する実験を行い、一定の性能を有していることを確認した。同様に、本研究の実施計画では、対象課題にある程度類似した課題に対して事前学習させる方法も検討することとなっており、このような事前学習法を用いた組合せ最適化法の基礎的性能を評価する実験を行い、この方法が優れていることを確認した。
近年はTransformer、敵対的生成ネットワーク、拡散モデルなどの生成AIが注目を集めている。そこで、これらの学習法に関する基礎的検討を行った。まず、Transformerを用いる強化学習法がDecision Transformerとしてすでに提案されていたことから、このDecision Transformerを用いた組合せ最適化法を提案し、組合せ最適化のベンチマーク問題としてよく知られている巡回セールスマン問題に適用した。その結果、最適に近い解を生成できることが確認された。また、敵対的生成ネットワークを用いた基礎的な生成の検討や、拡散モデルを事前学習に用いた最適化法の検討を行い、特に後者の拡散モデルを用いた最適化法が有望であることを確認した。
その他、学習でデータが少ない場合にはデータ拡張を行うべきであるので、その基礎的な検討を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の実施計画は、主として（１）オートエンコーダを用いる事前学習法の開発、（２）何らかの別の課題に対して事前学習を行う方法の開発、（３）一度きりの事前学習で種々の問題に対しても有効となるかどうかの分析・解析を行うことであり、研究期間は３年である。これらの研究計画のうち、研究期間１年目の令和５年度では（１）と（２）に関する研究がそれぞれ５割進展しており、（３）には着手していない。進展させたこれらの研究に関して、査読付き論文を発表したり、投稿したりしている。以上より、想定通りの進捗状況と考えられるので、おおむね順調に進展している、と評価した。
|
| Strategy for Future Research Activity |
オートエンコーダを用いたり、何らかの別の課題を用いたりして事前学習を行う方法の検討を引き続き進展させる。また、これらの事前学習法を、Decision Transformerを用いた組合せ最適化法にも組み込んで、短時間で問題例を解く方法を開発する。また、拡散モデルの考え方を用いた事前学習法を検討する。一般の拡散モデルは画像にノイズを加えながら学習を行うが、最適化は必ずしも画像で表現できるとは限らない。そこで、ノイズを加えることを、解を悪くすることに対応させた独創的な拡散モデルを提案する。さらに、GPTなどの大規模言語モデルを用いた事前学習法を検討する。以上の各事前学習法を組み込んだ最適化法を、ナップサック問題、巡回セールスマン問題、生産スケジューリング問題、小包配送計画問題などの各問題に適用する計算機実験を行い、各解法の性能を明らかにする。
また、上で述べた解法の中で有力なものを見出し、一度きりの事前学習で種々の問題に対しても有効となるかどうかを分析・解析する。このために、有力解法の事前学習を１か月などの長期間で実施して順序表現の特徴を十分学習させる。学習した解法を巡回セールスマン問題や生産スケジューリング問題に適用する計算機実験を行い、高レベルの汎化性能を有しているかどうかを検証する。
|
| Causes of Carryover |
申請時に予定していなかった企業との共同研究を実施することとなり、当該補助金で購入予定だった物品や謝金を他の予算で購入したり、支払ったりすることができるようになった。このことにより、当該補助金の次年度使用額が生じることとなった。
令和６年度では、研究をより沈滞なく進めることができるコンピュータが新発売されているので、このコンピュータを購入する。また、次年度使用額が生じたことを活かして、研究成果を予定より増やしたり、オープンアクセス化を行ったりする。また、研究調査や研究発表を行うための旅費を使用する。
|
