研究課題
近年、ChatGPTをはじめとしたプロンプトを与えることで幅広いタスクに対応できる汎用言語モデルの発展が目覚ましい。汎用言語モデルを学習する方法として、タスクごとにプロンプトを用意し、プロンプトを与えたときにそのタスクを解けるようマルチタスク学習を行うことで言語モデルがプロンプトを解釈できるようにするinstruction tuningという方法が注目されている。これまで様々な学習用プロンプトがinstruction tuningのために作成されているが、どのようなプロンプトがモデルの汎化性能向上に最適なのか明らかになっておらず、その最適化に膨大な人的コストを要している。本期間では学習用プロンプトを二段階最適化により最適化するinstruction optimizationを提案し、instruction tuningに最適な学習用プロンプトを明らかにした。具体的には、学習用プロンプトで言語モデルを学習し、学習した言語モデルの汎化性能を最大化するように学習用プロンプトを最適化する。これを繰り返すことで、汎化性能向上に最適なプロンプトを獲得した。評価実験において、タスクの指示をプロンプトに用いる実験設定では、二段階最適化によりプロンプトを多様化することが汎化性能向上に有効である一方、タスクの例示をプロンプトに用いる実験設定では、多様な種類の例示ではなく同一の例示を用いる方が有効であることが明らかになった。
2: おおむね順調に進展している
本期間では、二段階最適化を行う対象としてプロンプトの最適化を試み、プロンプト最適化により汎化性能が向上することを示した。研究成果はFindings of ACLに採択されたほか、2023年度人工知能学会全国大会で優秀賞をいただくなど、一定の成果が得られたものと認識している。
本期間では、プロンプトの二段階最適化に取り組んだが、今後は学習データセットの二段階最適化に取り組みたい。学習データセットの二段階最適化により、言語モデルの学習コストを下げつつ、汎化性能向上に資する学習データとは何か明らかにしていく。
本年度では人件費支出が生じなかったことから、次年度使用額が生じた。
すべて 2024 2023 その他
すべて 国際共同研究 (2件) 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 3件) 学会発表 (4件)
Findings of the Association for Computational Linguistics: ACL 2023
巻: Findings of ACL 2023 ページ: 10502-10517
10.18653/v1/2023.findings-acl.667
巻: Findings of ACL 2023 ページ: 5916-5930
10.18653/v1/2023.findings-acl.366
巻: Findings of ACL 2023 ページ: 6695-6715
10.18653/v1/2023.findings-acl.418
