| 研究課題/領域番号 |
23K11240
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61030:知能情報学関連
|
|---|
| 研究機関 | 大阪工業大学 |
|---|
研究代表者 |
平 博順 大阪工業大学, 情報科学部, 教授 (20396146)
|
|---|
| 研究分担者 |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| 研究期間 (年度) |
2023-04-01 – 2026-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2025年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2024年度: 2,210千円 (直接経費: 1,700千円、間接経費: 510千円)
2023年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
|
|---|
| キーワード | 規則適合判定 / 理由文生成 / 大規模言語モデル / 自然言語推論 / 判定理由 / 自律型ロボット / 自動運転車 |
|---|
| 研究開始時の研究の概要 |
自律型ロボットの行動や自動運転車の動作が、社会におけるあらかじめ人間が決めた法律などの明文化された規則を守っているかどうかを判定する規則適合判定技術について、従来の技術では、「適合」「不適合」の判定結果だけで判定理由が出力されることはほとんどなかった。そのため、機械が停止した場合に、人間が作った規則を守るために停止したのか、単に故障で動作しなかったのか判断がつかない技術となっていた。
本研究では、テキストで記述された内容が、あらかじめ定められた規則に適合するか否かを回答するだけでなく、規則に適合しなかった場合にその理由も合わせて精度よく回答する技術について研究を行う。
|
| 研究実績の概要 |
本研究では、テキストで記述された内容があらかじめ定められた規則に適合するか否かを回答するだけでなく、規則に適合しなかった場合にその理由も合わせて回答することが可能な規則適合判定技術の実現を目指している。
令和５年度では、本研究計画後に発表されたChatGPTのモデルを使用し、普通自動車免許学科試験の問題と解答から理由文を模擬的に生成させ、疑似理由文を収集することを検討した。GPT3.5およびGPT4.0モデルを使用し、それぞれのモデルで普通自動車免許学科試験問題と解答から解答理由文を生成させるプログラムを開発し、約5000問の問題から疑似的な解答理由文を生成することに成功した。次に、生成した疑似的な理由文を用いて大規模言語モデルの追加学習を行って規則適合判定および高品質な理由生成が可能であるか検証を行った。ローカルサーバ環境で動作させることが可能な大規模言語モデルを使用し、上記の模擬データで追加学習を行った。そのままでは精度が向上しなかったが、複数回推論させることで精度が向上することを確認した。また、様々なモデルサイズで実験を行った結果、モデルサイズが大きい方がより高品質な規則適合判定と理由生成が行えることを確認した。この結果について、言語処理学会年次大会で研究発表を行った。
これらの実験とは別に、言語モデルの外にある複数の規則群からあらかじめ問題に類似した規則文を検索した上で言語モデルで規則適合判定を行う方式について、プログラムの開発と小規模な実験を行っている。今後、より大規模な評価実験を進め、結果がまとまった段階で、学会で発表を行えるよう、準備を進めている。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当初予定していた、2020年度までに作成した普通自動車免許に関する問題と解答に対して、判定理由を新たに作成する計画については、一旦、GPTモデルを使用して作成ができないか検討を行い、生成を行うためのプログラムを実装し、実際に理由文の生成を行うことができた。判定理由も含んだ規則適合判定手法の開発に関しては、予定通り行った。ただし、高性能な大規模言語モデルが新たに発表されたため、それらの大規模言語モデルに対する追加学習で、理由生成がどの程度の品質で行えるのか検証を行った。
|
| 今後の研究の推進方策 |
令和６年度は、前年度にGPTモデルを使って生成した学習用・評価用の理由文データについて品質評価を行うとともに、必要に応じてデータ修正を行う。また、研究代表者と研究協力者が協力して、外部知識の検索を伴う規則適合判定を行うシステムについて開発を進め、評価用データで性能評価を行う。
|
