2023 Fiscal Year Research-status Report
常識推論タスク CommonGen のための文の非常識度合いの推定と常識的文への再生成
| Project/Area Number |
23K11212
|
|---|
| Research Institution | Ibaraki University |
|---|
Principal Investigator |
新納 浩幸 茨城大学, 理工学研究科(工学野), 教授 (10250987)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 常識推論 / 制約付き文生成 / CommonGen / T5 / 生成文自動評価 / 大規模言語モデル / ChatGPT |
|---|
| Outline of Annual Research Achievements |
本科研費申請後、ChatGPT が出現し、大規模言語モデル（Large Language Model、以下 LLM と略す）の能力が飛躍的に向上した。その結果 LLM を利用することで多くの自然言語処理のタスクに対する性能も向上した。本研究でタスクとした CommonGen は、数個の単語を与えて、それら単語を全て利用した常識的な文を生成するタスクである。このタスクは LLM を利用することで解決できることが予想できる。そこでこれまでに設定した文生成の困難な単語組を入力として、 ChatGPT （ LLMは GPT-3.5）がどの程度常識的な文を生成できるかを調べた。その結果、CommonGen のタスクに関しても LLM を利用することでほぼ解決できることが判明した。ただし一般的な常識推論に関してはまだ解決できていない部分があること、CommonGen タスクに対する LLM による回答となる生成文は長文になる傾向があることもわかった。この結果は情報処理学会の自然言語処理研究会で発表した（「鈴木雅人, 新納浩幸, "日本語 CommonGen に対する ChatGPT の性能調査", NL-256-7 (2023)」）。この研究結果をもとに、本年度は LLM の利用方法（具体的には OpenAI の LangChain の利用方法）や常識推論に対する能力について調査した。成果としては論文誌 1件、国際会議 2件、学会発表 6件である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究で課題とした CommonGen タスクに対しては LLM を利用することでほぼ解決できることを示せたため、本研究課題の大部分は実質的に終了したとみなせる。ただし LLM の常識推論に関する能力については未知な部分も多い。本研究課題の本質的な部分は、 LLM の常識推論に関する能力の解明であるため、本年度は CommonGen を絡めて、その部分の調査研究を行う方針を立てた。このため全体的な進捗としてはおおむね順調に進展していると考えている。
|
| Strategy for Future Research Activity |
今後は CommonGen タスクを通した LLM の常識推論の能力に焦点を当てた研究を行う。具体的には文生成が困難な単語組（CommonGen の入力）のデータセットの構築方法を研究する。その過程で常識推論と文生成能力の関係について考察する。また構築したデータセットを利用して既存 LLM の評価も行う。
構築方法については、申請時には単語間の関連性の低さと困難性に相関があり、その観点から構築方法を検討していたが、その方向では有望な実験結果は得られていないため観点を少し変更する。今後は以下の3つの観点で検討する。一点目は抽象名詞の利用である。本来、文生成が困難な単語として抽象名詞が存在する。その上で複数の抽象名詞間に関連性が低いと文生成が困難となる。二点目はその単語の利用頻度である。あまり利用されない名詞を使った文を生成するのは困難と思われる。三点目の観点は格である。例えば時間格や場所格は通常自由格になるので、自然に自由格になるような名詞の場合は文生成が容易である。また逆に格が固定的に使われる名詞の場合は、その名詞を使う文のバラエティが少ないため文生成が困難となる。以上の点から文生成が困難な単語組を集めたデータセットを作成し、既存の LLM の評価を行う。また人間が実際にそのような単語組から文生成を行うのにどの程度の負担を感じるかを測り、常識推論と CommonGen タスクとの関連を考察する。
|
| Causes of Carryover |
本年度当初に ChatGPT が出現したことにより研究内容の変更を余儀なくされた。そのため計画していた物品購入や海外出張を行うことができず、多くの予算を翌年度に繰り越すことになった。本年度は昨年度計画した物品購入や国内・海外出張を、本年度分と合わせて行う予定である。
|
