Bilevel Optimization for Training Generalizable Language Models
| Project/Area Number |
23K16940
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
磯沼 大 東京大学, 大学院工学系研究科(工学部), 客員研究員 (90854191)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000)
Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2024: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2023: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 自然言語処理 / 機械学習 / 大規模言語モデル / 言語モデル |
|---|
| Outline of Research at the Start |
近年自然言語処理分野では、複数のタスクとその指示を同時に学習することで、任意の指示を解釈し未知のタスクを柔軟に解ける汎用言語モデルの実現が試みられている。
しかし、既存モデルの汎化性能は改善余地が大きく、学習するタスクやその指示内容により汎化性能は大きく改善することが知られている。
本研究はタスクの重みや指示内容といった学習方法を二段階最適化の枠組みにより最適化するアプローチを提案し、汎化性能が向上することを明らかにする。
|
| Outline of Annual Research Achievements |
近年、ChatGPTをはじめとしたプロンプトを与えることで幅広いタスクに対応できる汎用言語モデルの発展が目覚ましい。
汎用言語モデルを学習する方法として、タスクごとにプロンプトを用意し、プロンプトを与えたときにそのタスクを解けるようマルチタスク学習を行うことで言語モデルがプロンプトを解釈できるようにするinstruction tuningという方法が注目されている。
これまで様々な学習用プロンプトがinstruction tuningのために作成されているが、どのようなプロンプトがモデルの汎化性能向上に最適なのか明らかになっておらず、その最適化に膨大な人的コストを要している。
本期間では学習用プロンプトを二段階最適化により最適化するinstruction optimizationを提案し、instruction tuningに最適な学習用プロンプトを明らかにした。具体的には、学習用プロンプトで言語モデルを学習し、学習した言語モデルの汎化性能を最大化するように学習用プロンプトを最適化する。これを繰り返すことで、汎化性能向上に最適なプロンプトを獲得した。
評価実験において、タスクの指示をプロンプトに用いる実験設定では、二段階最適化によりプロンプトを多様化することが汎化性能向上に有効である一方、タスクの例示をプロンプトに用いる実験設定では、多様な種類の例示ではなく同一の例示を用いる方が有効であることが明らかになった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本期間では、二段階最適化を行う対象としてプロンプトの最適化を試み、プロンプト最適化により汎化性能が向上することを示した。
研究成果はFindings of ACLに採択されたほか、2023年度人工知能学会全国大会で優秀賞をいただくなど、一定の成果が得られたものと認識している。
|
| Strategy for Future Research Activity |
本期間では、プロンプトの二段階最適化に取り組んだが、今後は学習データセットの二段階最適化に取り組みたい。
学習データセットの二段階最適化により、言語モデルの学習コストを下げつつ、汎化性能向上に資する学習データとは何か明らかにしていく。
|
Report
(1 results)
Research Products
(9 results)
