2020 Fiscal Year Annual Research Report
Development of a Rule Conformance Judgment Technique using Attention Model Considering Emphasized Bias
| Project/Area Number |
18K11452
|
|---|
| Research Institution | Osaka Institute of Technology |
|---|
Principal Investigator |
平 博順 大阪工業大学, 情報科学部, 准教授 (20396146)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 規則適合判定 / アテンションモデル / ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
本研究は、ニューラルネットワークを用いた機械翻訳技術において使用されているアテンションモデルを参考にし、従来のテキスト含意認識技術において中心的に使われている、文中の単語の重複率を基本としたテキスト含意認識を用いた技術では不可能であった規則適合判定技術の実現を目指すものである。平成30年度に、本技術の評価用データとして普通自動車免許試験データの作成を行った。またこのデータに含まれている問題の種類、および問題種類毎の解法についての分析・検討を行った。分析結果について令和元年度に人工知能学会で研究発表を行った。またこのデータを使って規則適合判定を行うベースライン手法の実装を行った。
令和元年度に、平成30年度までに作成していた普通自動車免許試験データについて、テキスト上で書かれていない前提知識などについての分析結果について、人工知能学会において研究発表を行った。新しい双方向トランスフォーマモデルであるBERTを使った免許試験データに適用する手法の検討・実装を進めた。それまでに作成した評価用データを使用して評価実験を行い、従来の文中の単語の重複率を基本としたテキスト含意認識を用いた場合より、わずかながら高い精度が得られることを確認した。
令和2年度には、自動車免許試験の問題集について真の正解に関して詳しい解説が一問ずつ付与されている新たな問題集を使用して、解説を「テキスト」、問題を「仮説」とするテキスト含意認識を行った場合の手法評価も行った。さらにBERTが本来の性能を発揮できるよう、作業委託で大規模な免許データの作成を行い、学習に使用するデータの拡充を図った。また、BERTが必ずしも実質的にいつも高性能である訳ではなく、規則適合判定における規則の詳細な違いについては、うまく判定できないことがあることを明らかにし、言語処理学会年次大会において発表を行った。
|
