Construction of Evaluation Datasets and Quality Estimation for Natural Language Generation using Deep Learning
| Project/Area Number |
23K24907
|
|---|
| Project/Area Number (Other) |
22H03651 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Hitotsubashi University (2023-2024)
Tokyo Metropolitan University (2022) |
|---|
Principal Investigator |
小町 守 一橋大学, 大学院ソーシャル・データサイエンス研究科, 教授 (60581329)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
須藤 克仁 奈良女子大学, 生活環境科学系, 教授 (00396152)
三田 雅人 東京都立大学, システムデザイン研究科, 特任助教 (30966453)
梶原 智之 愛媛大学, 理工学研究科(工学系), 講師 (70824960)
岡 照晃 東京都立大学, システムデザイン研究科, 特任助教 (50782942)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2024: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2023: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2022: ¥7,020,000 (Direct Cost: ¥5,400,000、Indirect Cost: ¥1,620,000)
|
|---|
| Keywords | 自然言語処理 / 言語生成 / 評価 / 品質推定 / 深層学習 / 文法誤り訂正 / 機械翻訳 / テキスト平易化 |
|---|
| Outline of Research at the Start |
大規模なテキストコーパスを用いて事前学習された大規模言語モデルを用いると、流暢なテキストを生成することができます。しかし、言語モデルやテキストの自動評価はまだ難しく、解釈性も高くありません。そこで本研究では、評価したい言語現象に対応する最小限の事例をチェックリスト形式で列挙したデータセットを作成し、解釈性の高い評価を行うことを提案します。
|
| Outline of Annual Research Achievements |
本研究では、言語生成の評価のためのデータセットを作成し、解釈性の高い自動評価手法を提案することを目的とします。作成されたテストデータそれぞれは言語モデルの単体テストのためのデータとして用いることができ、継続的インテグレーションを行う際の回帰テストに組み込むことができるようになります。本研究では、サブタスクごとのデータセットの収集・作成とともに、それを用いて自動評価を行う手法の提案を行います。
本研究では、言語生成タスクのうち正例と負例を作成しやすい文法誤り訂正と機械翻訳を対象として、それぞれに対して評価用のデータセットおよびそれを用いた評価手法を提案します。文法誤り訂正は文法項目として習得すべき項目を列挙することが可能であり、それらの項目を正しく訂正できているか、という網羅的なチェックリストを作成することが可能です。また、機械翻訳では代表的な評価尺度（MQM, direct assessment 等）が存在するので、それらよりもきめ細かく機械翻訳を評価できる手法を提案します。
2022年度は文法誤り訂正について網羅性の高いデータセットを作成する予備実験を行い、利点と欠点、限界について考察しました。機械翻訳では、MQM を用いた単語単位の品質推定の可能性について実験および考察を行いました。また、テキスト平易化の品質推定に向けたデータセットの拡充と、それを用いた品質推定手法の研究を行いました。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初計画していた文法誤り訂正と機械翻訳については順調にデータセット作成や品質推定手法の検討が進んでいるだけでなく、テキスト平易化タスクについてもデータセット作成や品質推定手法の検討が進んでいるため、順調に進展しています。
|
| Strategy for Future Research Activity |
文法誤り訂正の評価データセットの構築については、本年度は実際にデータセットの構築に着手し、国際会議への投稿を目指します。機械翻訳の品質推定については、単語単位での評価と文単位での評価の統合について検討します。テキスト平易化については、大規模言語モデル等の外部を活用した品質推定手法について引き続き実験を行います。
|
Report
(1 results)
Research Products
(4 results)
