| 研究課題/領域番号 |
23K16940
|
|---|
| 研究種目 |
若手研究
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
小区分61030:知能情報学関連
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
磯沼 大 東京大学, 大学院工学系研究科(工学部), 客員研究員 (90854191)
|
|---|
| 研究期間 (年度) |
2023-04-01 – 2026-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円)
2025年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2024年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
2023年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
|
|---|
| キーワード | 自然言語処理 / 機械学習 / 大規模言語モデル / 言語モデル |
|---|
| 研究開始時の研究の概要 |
近年自然言語処理分野では、複数のタスクとその指示を同時に学習することで、任意の指示を解釈し未知のタスクを柔軟に解ける汎用言語モデルの実現が試みられている。
しかし、既存モデルの汎化性能は改善余地が大きく、学習するタスクやその指示内容により汎化性能は大きく改善することが知られている。
本研究はタスクの重みや指示内容といった学習方法を二段階最適化の枠組みにより最適化するアプローチを提案し、汎化性能が向上することを明らかにする。
|
| 研究実績の概要 |
近年、ChatGPTをはじめとしたプロンプトを与えることで幅広いタスクに対応できる汎用言語モデルの発展が目覚ましい。
汎用言語モデルを学習する方法として、タスクごとにプロンプトを用意し、プロンプトを与えたときにそのタスクを解けるようマルチタスク学習を行うことで言語モデルがプロンプトを解釈できるようにするinstruction tuningという方法が注目されている。
これまで様々な学習用プロンプトがinstruction tuningのために作成されているが、どのようなプロンプトがモデルの汎化性能向上に最適なのか明らかになっておらず、その最適化に膨大な人的コストを要している。
本期間では学習用プロンプトを二段階最適化により最適化するinstruction optimizationを提案し、instruction tuningに最適な学習用プロンプトを明らかにした。具体的には、学習用プロンプトで言語モデルを学習し、学習した言語モデルの汎化性能を最大化するように学習用プロンプトを最適化する。これを繰り返すことで、汎化性能向上に最適なプロンプトを獲得した。
評価実験において、タスクの指示をプロンプトに用いる実験設定では、二段階最適化によりプロンプトを多様化することが汎化性能向上に有効である一方、タスクの例示をプロンプトに用いる実験設定では、多様な種類の例示ではなく同一の例示を用いる方が有効であることが明らかになった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本期間では、二段階最適化を行う対象としてプロンプトの最適化を試み、プロンプト最適化により汎化性能が向上することを示した。
研究成果はFindings of ACLに採択されたほか、2023年度人工知能学会全国大会で優秀賞をいただくなど、一定の成果が得られたものと認識している。
|
| 今後の研究の推進方策 |
本期間では、プロンプトの二段階最適化に取り組んだが、今後は学習データセットの二段階最適化に取り組みたい。
学習データセットの二段階最適化により、言語モデルの学習コストを下げつつ、汎化性能向上に資する学習データとは何か明らかにしていく。
|
