| 研究課題/領域番号 |
23K11240
|
|---|
| 研究機関 | 大阪工業大学 |
|---|
研究代表者 |
平 博順 大阪工業大学, 情報科学部, 教授 (20396146)
|
|---|
| 研究分担者 |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| 研究期間 (年度) |
2023-04-01 – 2026-03-31
|
| キーワード | 規則適合判定 / 判定理由文生成 / 大規模言語モデル / 自然言語推論 / 自律型ロボット / 自動運転車 |
|---|
| 研究実績の概要 |
人間社会の中でともに行動する自律型ロボットや自動運転車などが、あらかじめ人間によって明文化された規則を遵守しているかどうかを判定する規則適合判定技術は、社会の中で今後ますます重要な技術になると考えられる。ところが、従来の規則適合判定技術による出力は、「適合」「不適合」の判定結果だけであるため、自律型ロボットなどが、不適切な動作を行った場合に、故障が原因か、規則に内在する原因で不適切な動作に至ったのかなどについて人間側から判断をすることが困難であった。
本研究では、そのような課題に対処するため、テキストで記述された内容があらかじめ定められた規則に適合するか否かを回答するだけでなく、規則に適合しなかった場合にその理由も合わせて回答することが可能な規則適合判定技術の実現を目指している。
令和６年度は、本研究計画後に発表された大規模言語モデルGPT3.5を用いて、あらかじめ与えられた大量の規則に対して文同士の類似度に基づく検索を行い、関係規則を絞った後に規則適合判定および判定理由文の生成を行う手法について、普通自動車免許学科試験の問題を対象に精度評価を行った。前年度にGPT4.0モデルを使用して疑似的に判定理由文を作成した約5,000問の評価用問題で評価を行ったところ、提案手法を用いない場合よりも判定精度が向上するとともに、適切な関係規則が検索された場合には、判定理由文の生成も高品質に行えることを確認した。この成果については、人工知能学会全国大会にて研究発表を行った。
また、軽量な大規模言語モデルを用いた判定理由も伴う規則適合判定についても評価を行った。この結果について、言語処理学会年次大会で研究発表を行った。
これらの実験とは別に、提案手法における関係規則の検索についての評価を行うため、上記の規則適合判定評価用データについて、人手で核問題に対する関連規則データの整備を行った。
|
| 現在までの達成度 |
現在までの達成度
2: おおむね順調に進展している
理由
判定理由も含んだ規則適合判定手法の開発に関しては、予定通り研究を行った。ただし、高性能な大規模言語モデルが新たには発表されたため、それらの大規模言語モデルを用いた手法についても一部、手法に取り込みつつ、理由生成がどの程度の品質で行えるのか検証を行っている。
|
| 今後の研究の推進方策 |
令和７年度は、前年度に人手で整備した正しい関連規則の情報が付与された評価用データを用いて、判定理由文生成を伴う規則適合判定技術について品質評価を行うとともに、必要に応じてデータ修正を行う。また、より高性能な規則適合判定を目指し、手法の改良を進める。
|
| 次年度使用額が生じた理由 |
計算機クラウドを利用した評価実験を優先させたため。当初購入予定であった計算機サーバの購入は令和７年度に持ち越すこととした。
|
