| Project/Area Number |
23K11263
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
飯間 等 京都工芸繊維大学, 情報工学・人間科学系, 准教授 (70273547)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
|
|---|
| Keywords | 深層強化学習 / 組合せ最適化 / 強化学習 / 機械学習 |
|---|
| Outline of Research at the Start |
人工知能の中心技術の１つである深層強化学習を最適化に活かすことで、これまでにない新たな最適化法を開発する。最適解の発見が困難であることが知られている組合せ最適化問題に対して、深層強化学習で決定変数の最適値を学習させ、その学習が組合せ最適化問題を短時間で解くことに貢献することを示す。深層強化学習で用いるネットワークの出力を求めることを、１つの決定変数の値を決定することに対応させて学習させる。問題を短時間で解くために、学習の汎化性能を高める方法を導入する。深層強化学習に基づいて最適化を行う方法を確立させた新分野を創造・発信する。
|
| Outline of Annual Research Achievements |
本研究の目的は、短時間での最適解の発見が困難であることが知られている組合せ最適化問題に対して、人工知能の中心技術である深層強化学習により問題の決定変数の最適値を学習させ、その学習が組合せ最適化問題を短時間で解くことに貢献するかどうかを研究することである。このために、多くの時間を要する学習を事前に行って汎化性能を高め、問題例に対する解を短時間に求めることができるようになる最適化法を検討する。
本研究の実施計画では、オートエンコーダを用いる方法を検討することとなっており、変分オートエンコーダを用いた生成における汎化性能を評価する実験を行い、一定の性能を有していることを確認した。同様に、本研究の実施計画では、対象課題にある程度類似した課題に対して事前学習させる方法も検討することとなっており、このような事前学習法を用いた組合せ最適化法の基礎的性能を評価する実験を行い、この方法が優れていることを確認した。
近年はTransformer、敵対的生成ネットワーク、拡散モデルなどの生成AIが注目を集めている。そこで、これらの学習法に関する基礎的検討を行った。まず、Transformerを用いる強化学習法がDecision Transformerとしてすでに提案されていたことから、このDecision Transformerを用いた組合せ最適化法を提案し、組合せ最適化のベンチマーク問題としてよく知られている巡回セールスマン問題に適用した。その結果、最適に近い解を生成できることが確認された。また、敵対的生成ネットワークを用いた基礎的な生成の検討や、拡散モデルを事前学習に用いた最適化法の検討を行い、特に後者の拡散モデルを用いた最適化法が有望であることを確認した。
その他、学習でデータが少ない場合にはデータ拡張を行うべきであるので、その基礎的な検討を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の実施計画は、主として（１）オートエンコーダを用いる事前学習法の開発、（２）何らかの別の課題に対して事前学習を行う方法の開発、（３）一度きりの事前学習で種々の問題に対しても有効となるかどうかの分析・解析を行うことであり、研究期間は３年である。これらの研究計画のうち、研究期間１年目の令和５年度では（１）と（２）に関する研究がそれぞれ５割進展しており、（３）には着手していない。進展させたこれらの研究に関して、査読付き論文を発表したり、投稿したりしている。以上より、想定通りの進捗状況と考えられるので、おおむね順調に進展している、と評価した。
|
| Strategy for Future Research Activity |
オートエンコーダを用いたり、何らかの別の課題を用いたりして事前学習を行う方法の検討を引き続き進展させる。また、これらの事前学習法を、Decision Transformerを用いた組合せ最適化法にも組み込んで、短時間で問題例を解く方法を開発する。また、拡散モデルの考え方を用いた事前学習法を検討する。一般の拡散モデルは画像にノイズを加えながら学習を行うが、最適化は必ずしも画像で表現できるとは限らない。そこで、ノイズを加えることを、解を悪くすることに対応させた独創的な拡散モデルを提案する。さらに、GPTなどの大規模言語モデルを用いた事前学習法を検討する。以上の各事前学習法を組み込んだ最適化法を、ナップサック問題、巡回セールスマン問題、生産スケジューリング問題、小包配送計画問題などの各問題に適用する計算機実験を行い、各解法の性能を明らかにする。
また、上で述べた解法の中で有力なものを見出し、一度きりの事前学習で種々の問題に対しても有効となるかどうかを分析・解析する。このために、有力解法の事前学習を１か月などの長期間で実施して順序表現の特徴を十分学習させる。学習した解法を巡回セールスマン問題や生産スケジューリング問題に適用する計算機実験を行い、高レベルの汎化性能を有しているかどうかを検証する。
|
