2023 Fiscal Year Research-status Report
| Project/Area Number |
23K11240
|
|---|
| Research Institution | Osaka Institute of Technology |
|---|
Principal Investigator |
平 博順 大阪工業大学, 情報科学部, 教授 (20396146)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 規則適合判定 / 理由文生成 / 大規模言語モデル |
|---|
| Outline of Annual Research Achievements |
本研究では、テキストで記述された内容があらかじめ定められた規則に適合するか否かを回答するだけでなく、規則に適合しなかった場合にその理由も合わせて回答することが可能な規則適合判定技術の実現を目指している。
令和５年度では、本研究計画後に発表されたChatGPTのモデルを使用し、普通自動車免許学科試験の問題と解答から理由文を模擬的に生成させ、疑似理由文を収集することを検討した。GPT3.5およびGPT4.0モデルを使用し、それぞれのモデルで普通自動車免許学科試験問題と解答から解答理由文を生成させるプログラムを開発し、約5000問の問題から疑似的な解答理由文を生成することに成功した。次に、生成した疑似的な理由文を用いて大規模言語モデルの追加学習を行って規則適合判定および高品質な理由生成が可能であるか検証を行った。ローカルサーバ環境で動作させることが可能な大規模言語モデルを使用し、上記の模擬データで追加学習を行った。そのままでは精度が向上しなかったが、複数回推論させることで精度が向上することを確認した。また、様々なモデルサイズで実験を行った結果、モデルサイズが大きい方がより高品質な規則適合判定と理由生成が行えることを確認した。この結果について、言語処理学会年次大会で研究発表を行った。
これらの実験とは別に、言語モデルの外にある複数の規則群からあらかじめ問題に類似した規則文を検索した上で言語モデルで規則適合判定を行う方式について、プログラムの開発と小規模な実験を行っている。今後、より大規模な評価実験を進め、結果がまとまった段階で、学会で発表を行えるよう、準備を進めている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初予定していた、2020年度までに作成した普通自動車免許に関する問題と解答に対して、判定理由を新たに作成する計画については、一旦、GPTモデルを使用して作成ができないか検討を行い、生成を行うためのプログラムを実装し、実際に理由文の生成を行うことができた。判定理由も含んだ規則適合判定手法の開発に関しては、予定通り行った。ただし、高性能な大規模言語モデルが新たに発表されたため、それらの大規模言語モデルに対する追加学習で、理由生成がどの程度の品質で行えるのか検証を行った。
|
| Strategy for Future Research Activity |
令和６年度は、前年度にGPTモデルを使って生成した学習用・評価用の理由文データについて品質評価を行うとともに、必要に応じてデータ修正を行う。また、研究代表者と研究協力者が協力して、外部知識の検索を伴う規則適合判定を行うシステムについて開発を進め、評価用データで性能評価を行う。
|
| Causes of Carryover |
大規模な学習を行うために計算機クラウドを利用する予定であったが、ローカルサーバーでの実験を優先させたため、計算機クラウド利用は令和６年度に持ち越すこととした。
|
